Hallo, führe doch eine Matrixmultiplikation aus, also
\(A^2=A\cdot A=\begin{pmatrix} 1 & a \\ 2 & b \end{pmatrix}\cdot \begin{pmatrix} 1 & a \\ 2 & b \end{pmatrix}=\begin{pmatrix} 2a+1 & a(b+1) \\ 2(b+1) & 2a+b^2 \end{pmatrix}\stackrel{!}{=}\begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix}\)
Mache nun ein Koeffizientenvergleich, indem du also dieses Gleichngssystem löst
\(2a+1=1,\quad a(b+1)=0,\quad 2(b+1)=0,\quad 2a+b^2=1\).