Aloha :)
Die Matrix \(A\) erwartet rechts als Eingangsgrößen Vektoren mit Koordinaten bezüglich der Standardbasis \(E\). Als Ergebnis liefert sie wieder Vektoren mit Koordinanten bezüglich der Standardbasis \(E\), d.h.:
$$_EA_E=\left(\begin{array}{c}5 & 5 & 2\\3 & 6 & 8\\-1 & 0 & 1\end{array}\right)$$Wir suchen nun die Abbildungsmatrix \(_BA_B\) die rechts Koordinaten bezüglich der Basis \(B\) erwartet und links ebenfalls Koordinaten bezüglich der Basis \(B\) liefert. Die erhalten wir so:
$$_BA_B={_B\text{id}_E}\cdot{_EA_E}\cdot{_E\text{id}_B}$$Mit \(_E\text{id}_B\) rechnen wir Vektoren, die bezüglich der Basis \(B\) angegeben sind, in Vektoren bezüglich der Basis \(E\) um. Dann lassen wir mittels \(_EA_E\) die Abbildung wirken. Schließlich transformieren wir mit \(_B\text{id}_E\) das Ergebnis der Abbildung wieder in den entsprechenden Vektor bezüglich der Basis \(B\).
Die geordneten Vektoren \((\vec a_1,\vec a_2, \vec a_3)\) bilden die Basis \(B\), ihre Koordinaten sind jedoch in der Standardbasis \(E\) angegeben. Das heißt der Vektor \((1,0,0)_B\) wird auf \((4,2,5)_E\) abgebildet, der Vektor \((0,1,0)_B\) wird auf \((-1,1,7)_E\) abgebildet und der Vektor \((0,0,1)_B\) wird auf \((5,2,2)_E\) abgebildet. Die Transformationsmatrix \(_E\text{id}_B\) erhalten wir also, indem wir die Basisvektoren von \(B\) als Spalten in eine Matrix schreiben:
$$_E\text{id}_B=\left(\begin{array}{c}4 & -1 & 5\\2 & 1 & 2\\5 & 7 & 2\end{array}\right)$$Die inverse Matrix dazu liefert uns die Transformationsmatrix \(_B\text{id}_E\) in die andere Richtung, also von der Basis \(E\) zur Basis \(B\). Die Berechnung der Inversen führe ich hier nicht vor, sondern gebe sie einfach nur an:
$$_B\text{id}_E=\left(_E\text{id}_B\right)^{-1}=\frac{1}{9}\left(\begin{array}{c}12 & -37 & 7\\-6 & 17 & -2\\-9 & 33 & -6\end{array}\right)$$Bleibt noch die eigentliche Berechnung, von der ich auch nur das Ergebnis angebe:
$$_BA_B=\frac{1}{9}\left(\begin{array}{c}12 & -37 & 7\\-6 & 17 & -2\\-9 & 33 & -6\end{array}\right)\left(\begin{array}{c}5 & 5 & 2\\3 & 6 & 8\\-1 & 0 & 1\end{array}\right)\left(\begin{array}{c}4 & -1 & 5\\2 & 1 & 2\\5 & 7 & 2\end{array}\right)$$$$\phantom{_BA_B}=\left(\begin{array}{c}-209 & -217\frac{2}{3} & -127\frac{1}{9}\\94 & 100\frac{1}{3} & 55\frac{8}{9}\\194 & 197 & 120\frac{2}{3}\end{array}\right)$$