Aloha :)
zu a) Das Gleichungssystem hat genau eine Lösung, wenn die Determinante der Koeffizientenmatrix ungleich Null ist:$$0\stackrel{!}{\ne}\left|\begin{array}{rrr}1 & 0 & b\\2 & 0 & 3\\0 & 1 & 3\end{array}\right|=-(3-2b)=2b-3\implies b\ne\frac32$$
Für \(b=\frac32\) lauten die 3 Gleichungen:$$\begin{array}{c}1\cdot x_1 &+& 0\cdot x_2 &+& \frac32\cdot x_3 &=& -2a\\2\cdot x_1 &+& 0\cdot x_2 &+& 3\cdot x_3 &=& a\\0\cdot x_1 &+& 1\cdot x_2 &+& 3\cdot x_3 &=& 0\end{array}$$Multipliziert man die erste Gleichung mit \(2\), stellt man fest, dass die erste und die zweite Gleichung auf der linken Seite identisch sind:$$\begin{array}{c}2\cdot x_1 &+& 0\cdot x_2 &+& 3\cdot x_3 &=& -4a\\2\cdot x_1 &+& 0\cdot x_2 &+& 3\cdot x_3 &=& a\\0\cdot x_1 &+& 1\cdot x_2 &+& 3\cdot x_3 &=& 0\end{array}$$Wenn die linken Seiten gleich sind, müssen auch die beiden rechten Seiten gleich sein:$$-4a\stackrel!=a\implies5a=0\implies a=0$$Für \(a\ne0\) hat das LGS also keine Lösung, für \(a=0\) hat es unendlich viele Lösungen.
Wir fassen zusammen:$$\text{Das LGS hat}\left\{\begin{array}{ll}\text{genau eine Lösung} & \text{falls }b\ne\frac32\\[1ex]\text{keine Lösung} & \text{falls }b=\frac32\;\land\;a\ne0\\[1ex]\text{unendlich viele Lösungen} & \text{falls }b=\frac32\;\land\;a=0\end{array}\right.$$
zu c) Wir ziehen diese Teilaufgabe vor, damit wir in b) die inverse Matrix zum Lösen des LGS zur Verfügung haben. Wir schreiben die zu invertierende Matrix nach links und die Einheitsmatrix nach rechts. Dann bringen wir die linke Matrix durch Gauß-Operationen auf die Form einer Einheitsmatrix und wiederholen die Schritte an der rechten Matrix.
$$\begin{array}{rrr|rrr|}1 & 0 & -1 & 1 & 0 & 0\\2 & 0 & 3 & 0 & 1 & 0 & -2Z_1\\0 & 1 & 3 & 0 & 0 & 1\\\hline1 & 0 & -1 & 1 & 0 & 0\\0 & 0 & 5 & -2 & 1 & 0 &\colon5\\0 & 1 & 3 & 0 & 0 & 1\\\hline1 & 0 & -1 & 1 & 0 & 0 &+Z_2\\0 & 0 & 1 & -0,4 & 0,2 & 0 &\\0 & 1 & 3 & 0 & 0 & 1 &-3Z_2\\\hline1 & 0 & 0 & 0,6 & 0,2 & 0 &\\0 & 0 & 1 & -0,4 & 0,2 & 0 &\text{tauschen mit }Z_3\\0 & 1 & 0 & 1,2 & -0,6 & 1 &\text{tauschen mit }Z_2\\\hline1 & 0 & 0 & 0,6 & 0,2 & 0 &\\0 & 1 & 0 & 1,2 & -0,6 & 1 &\\0 & 0 & 1 & -0,4 & 0,2 & 0 &\end{array}$$Damit lautet die inverse Matrix zu \(b=-1\):$$A^{-1}=\frac15\left(\begin{array}{rrr}3 & 1 & 0\\6 & -3 & 5\\-2 & 1 & 0\end{array}\right)$$
zu b) Für \(b=-1\) und \(a=2\) lautet die Lösung:$$\vec x=A^{-1}\cdot\begin{pmatrix}-4\\2\\0\end{pmatrix}=\begin{pmatrix}-2\\-6\\2\end{pmatrix}$$
