Aloha :)
Wir bestimmen das Produkt \(AB\):$$AB=\begin{pmatrix}3 & -p\\1 & 2q\end{pmatrix}\cdot\begin{pmatrix}p & 0\\q & q\end{pmatrix}=\begin{pmatrix}3p-pq & -pq\\p+2q^2 & 2q^2\end{pmatrix}$$Wir bestimmen das Produkt \(BA\):$$BA=\begin{pmatrix}p & 0\\1 & q\end{pmatrix}\cdot\begin{pmatrix}3 & -p\\1 & 2q\end{pmatrix}=\begin{pmatrix}3p & -p^2\\4q & 2q^2-pq\end{pmatrix}$$Wie du siehst, hast du völlig Recht, dass die Matrix-Multiplikation im Allgemeinen nicht kommutativ ist. Hier sollen \(p\) und \(q\) aber gerade so bestimmt werden, dass zwei vertauschbare Matrizen entstehen.
Vergleichen wir die Diagonal-Elemente beider Produkte miteinander ist klar, dass \(pq=0\) gelten muss, das heißt \(p=0\) doer \(q=0\). Für \(p=0\) lauten die beiden Produkt-Matrizen:$$\begin{pmatrix}0 & 0\\2q^2 & 2q^2\end{pmatrix}\quad;\quad\begin{pmatrix}0 & 0\\4q & 2q^2\end{pmatrix}\quad;\quad p=0$$Bis auf die Komponenten links unten sind bereits alle gleich, wenn \(2q^2=4q\) gilt, also für \(q=0\) oder \(q=2\). Damit haben wir zwei Lösung \((p,q)=(0,0)\) und \((p,q)=(0,2)\).
Für \(q=0\) lauten die beiden Produkt-Matrizen:$$\begin{pmatrix}3p & 0\\p & 0\end{pmatrix}\quad;\quad\begin{pmatrix}3p & -p^2\\0 & 0\end{pmatrix}\quad;\quad q=0$$Die Komponenten sind nur gleich wenn auch \(p=0\) ist. Dieser Fall liefert also nur die Lösung \((p,q)=(0,0)\), die wir aber schon kannten.
Wir haben also tatsächlich 2 Sonderfälle gefunden, in denen die beiden Matrizen vertauschen:$$(p,q)=(0,0) \text{ und }(p,q)=(0,2)$$
