Aloha :)
zu Teil a) Der Gauß-Algorithmus funktioniert so...
(1) Schreibe das Gleichungssystem als Tabelle.
(2) Folgende Rechenoperationen sind darin erlaubt:
a) Du kannst eine Zeile mit einer Zahl multiplizieren.
b) Du kannst ein Vielfaches einer Zeile zu jeder anderen Zeile addieren.
c) Du kannst ein Vielfaches einer Zeile von jeder andeen Zeile subtrahieren.
(3) Ziel ist es, mit den Schritten aus (2) so viele Nullen wie möglich in jeder Zeile zu erzeugen.
In dem konkreten Fall könnte das wie folgt aussehen:
$$\begin{array}{rrr|r|l}\lambda_1 & \lambda_2 & \lambda_3 & = & \text{Rechenschritt}\\\hline2 & 5 & 7 & 2 &\\3 & 2 & 5 & -1 &-Z_1\\5 & -2 & 3 & -7 &-2\cdot Z_1\\\hline2 & 5 & 7 & 2 &-2\cdot Z_2\\1 & -3 & -2 & -3 &\\1 & -12 & -11 & -11 &-Z_2\\\hline0 & 11 & 11 & 8 &+Z_3\\1 & -3 & -2 & -3 &\\0 & -9 & -9 & -8 &\\\hline0 & 2 & 2 & 0 &\div2\\1 & -3 & -2 & -3 &+Z_1\\0 & -9 & -9 & -8 & \cdot(-1)\\\hline0 & 1 & 1 & 0 &\\1 & -1 & 0 & -3 &\\0 & 9 & 9 & 8 &-9\cdot Z_1\\\hline0 & 1 & 1 & 0\\1 & -1 & 0 & -3\\0 & 0 & 0 & 8\end{array}$$
In der letzten Zeile erhältst du eine nicht efüllbare Forderung:$$0\cdot\lambda_1+0\cdot\lambda_2+0\cdot\lambda_3=8$$Daher hat das Gleichungssystem keine Lösung.
zu Teil b) Hier hättest du keine Determinante gebraucht, denn man sieht sehr schnell, dass gilt:$$\vec b_1=\vec b_3-\vec b_2$$Also sind die 3 Vektoren linear abhängig.