Aloha :)
zu i) Bestimmung der Abbildungsmatrizen:
$$f(x;y)=\begin{pmatrix}x\\x+2y\\y\end{pmatrix}=x\begin{pmatrix}1\\1\\0\end{pmatrix}+y\begin{pmatrix}0\\2\\1\end{pmatrix}=\underbrace{\begin{pmatrix}1 & 0\\1 & 2\\0 & 1\end{pmatrix}}_{=A}\binom{x}{y}$$$$g(x;y)=\begin{pmatrix}x+z\\5x-2y+z\end{pmatrix}=x\binom{1}{5}+y\binom{0}{-2}+z\binom{1}{1}=\underbrace{\begin{pmatrix}1 & 0 & 1\\5 & -2 & 1\end{pmatrix}}_{=B}\begin{pmatrix}x\\y\\z\end{pmatrix}$$
zu ii) Hintereinanderausführung berechnen:
$$(g\circ f)(x;y)=BA\binom{x}{y}=\begin{pmatrix}1 & 0 & 1\\5 & -2 & 1\end{pmatrix}\begin{pmatrix}1 & 0\\1 & 2\\0 & 1\end{pmatrix}\binom{x}{y}=\underbrace{\left(\begin{array}{rr}1 & 1\\3 & -3\end{array}\right)}_{=C}\binom{x}{y}$$
zu iii) Invertieren der Matrix \(C\)
Wegen \(\operatorname{det}(C)=-6\ne0\) ist die Matrix invertierbar, d.h. \(C\) bzw. \((g\circ f)\in GL(\mathbb R^2)\).
Die Inverse Matrix lautet:$$C^{-1}=\frac16\left(\begin{array}{rr}3 & 1\\3 & -1\end{array}\right)$$