Aloha :)
Bei solchen Aufgaben lohnt es sich eigentlich immer, die Determinante der Matrix zu bestimmen. Die Determinante gibt nämlich das Volumen an, das die Vektoren in ihr aufspannen, hier also das 4-dimensionale Volumen. Wenn die Determinante also \(\ne0\) ist, sind die 4 Vektoren linear unabhängig und die Matrix hat vollen Rang.
Bei der Berechnung der Determinante, ist die Spalte 3 sehr hilfreich, wir können nämlich das 2-fache der Spalte 3 von Spalte 1 subtrahieren und das 3-fache der Spalte 3 von Spalte 2:$$\operatorname{det}M(a)=\left|\begin{array}{rrrr}1 & 1 & 2 & 3\\1 & 2-a^2 & 2 & 3\\2 & 3 & 1 & 5\\2 & 3 & 1 & 9-a^2\end{array}\right|=\left|\begin{array}{rrrr}-3 & -5 & 2 & 3\\-3 & -4-a^2 & 2 & 3\\0 & 0 & 1 & 5\\0 & 0 & 1 & 9-a^2\end{array}\right|$$Jetzt subtrahieren wir Zeile 1 von Zeile 2 und Zeile 3 von Zeile 4. Danach haben wir eine Dreiecksmatrix, deren Determinante einfach das Produkt der Elemente auf der Hauptdiagonalen ist:$$\phantom{\operatorname{det}M(a)}=\left|\begin{array}{rrrr}-3 & -5 & 2 & 3\\0 & 1-a^2 & 0 & 0\\0 & 0 & 1 & 5\\0 & 0 & 0 & 4-a^2\end{array}\right|=-3(1-a^2)(4-a^2)$$Die Matrix hat also den vollen Rang \(4\), wenn \(a\ne\pm1\) und \(a\ne\pm2\) ist.
Die Fälle \(a=\pm1\) und \(a=\pm2\) müssen wir noch gesondert betrachten. Mit Hilfe elementarer Spalten-Umformungen können wir die linearen Abhängigkeiten aus den Spaltenvektoren herausrechnen und so feststellen, wie viele Basisvektoren übrig bleiben.
1. Fall \(\alpha=\pm1\)$$\begin{array}{rrrr} & -S_1 & -2S_1 & -3S_1\\\hline1 & 1 & 2 & 3\\1 & 1 & 2 & 3\\2 & 3 & 1 & 5\\2 & 3 & 1 & 8\end{array}\quad\to\quad\begin{array}{rrrr}-2S_2 & & +3S_2 & +S_3\\\hline1 & 0 & 0 & 0\\1 & 0 & 0 & 0\\2 & 1 & -3 & -1\\2 & 1 & -3 & 2\end{array}\quad\to$$$$\begin{array}{rrrr} & -\frac13S_4 & & \colon3\\\hline1 & 0 & 0 & 0\\1 & 0 & 0 & 0\\0 & 1 & 0 & 0\\0 & 1 & 0 & 3\end{array}\quad\to\quad\begin{array}{rrrr} & & & \\\hline1 & 0 & 0 & 0\\1 & 0 & 0 & 0\\0 & 1 & 0 & 0\\0 & 0 & 0 & 1\end{array}$$Für \(\alpha=\pm1\) erhalten wir also 3 Basisvektoren, also ist der Rang von \(M(\pm1)\) drei.
2. Fall \(\alpha=\pm2\)$$\begin{array}{rrrr} & -S_1 & -2S_1 & -3S_1\\\hline1 & 1 & 2 & 3\\1 & -2 & 2 & 3\\2 & 3 & 1 & 5\\2 & 3 & 1 & 5\end{array}\quad\to\quad\begin{array}{rrrr}+2S_4 & +S_4 & -3S_4 & \cdot(-1)\\\hline1 & 0 & 0 & 0\\1 & -3 & 0 & 0\\2 & 1 & -3 & -1\\2 & 1 & -3 & -1\end{array}\quad\to$$$$\begin{array}{rrrr} +\frac13S_2& \colon(-3) & &\\\hline1 & 0 & 0 & 0\\1 & -3 & 0 & 0\\0 & 0 & 0 & 1\\0 & 0 & 0 & 1\end{array}\quad\to\quad\begin{array}{rrrr} & & &\\\hline1 & 0 & 0 & 0\\0 & 1 & 0 & 0\\0 & 0 & 0 & 1\\0 & 0 & 0 & 1\end{array}$$Für \(\alpha=\pm2\) erhalten wir also auch 3 Basisvektoren, also ist der Rang von \(M(\pm2)\) drei.
Wir fassen zusammen:
$$\operatorname{rg}\left(\,M(\alpha)\,\right)=\left\{\begin{array}{ll}3 &\text{falls } a=\pm1\,\lor\,a=\pm2\\4 & \text{sonst}\end{array}\right.$$
