Cayley-Hamilton ist ein guter Ansatz.
Das char. Polynom von \( M := AB \) hat die Form \( \chi_M = X^2 - \operatorname{Spur}(M)X + \det(M)I \).
Da \( 0 = \det(M^2) = \det(M)^2 \implies \det(M) = 0 \). Wegen Cayley-Hamilton: $$ 0 = M^2 - \operatorname{Spur}(M)M +\det(M)I = -\operatorname{Spur}(M)M $$ also \( \operatorname{Spur}(M) = 0 \) oder \( M = 0 \).
Falls \( M = 0 \), d.h. \( AB = 0 \), ist auch \( (BA)^2 = B(AB)A = 0 \)
Falls \( \operatorname{Spur}(M) = 0 \) erhält man $$ \det(BA) = \det(AB) = \det(M) = 0 \\ \operatorname{Spur}(BA) = \operatorname{Spur}(AB) = \operatorname{Spur}(M) = 0 $$
Das charakteristische Polynom von \( BA \) ist \( \chi_{BA} = X^2 - \operatorname{Spur}(BA)X + \det(BA) = X^2 \), wieder wegen Cayley Hamilton: \( (BA)^2 = 0 \)