Aloha :)
Damit eine Matrix invertierbar ist, müssen ihre Spaltenvektoren bzw. Zeilenvektoren linear unabhängig sein. Das heißt, die Determinante muss \(\ne0\) sein.
$$\operatorname{det}(A)=\left|\begin{array}{rrr}p-3 & -1 & 1\\5 & p-9 & 1\\2 & -2 & p-1\end{array}\right|\stackrel1=\left|\begin{array}{rrr}p-3 & 0 & 1\\5 & p-8 & 1\\2 & p-3 & p-1\end{array}\right|$$$$\phantom{\operatorname{det}(A)}\stackrel2=\left|\begin{array}{rrr}p-3 & 0 & 1\\-p+8 & p-8 & 0\\2 & p-3 & p-1\end{array}\right|\stackrel3=(p-8)\left|\begin{array}{rrr}p-3 & 0 & 1\\-1 & 1 & 0\\2 & p-3 & p-1\end{array}\right|$$$$\phantom{\operatorname{det}(A)}\stackrel4=(p-8)\left|\begin{array}{rrr}p-3 & 0 & 1\\-1 & 1 & 0\\0 & p-1 & p-1\end{array}\right|\stackrel5=(p-8)(p-1)\left|\begin{array}{rrr}p-3 & 0 & 1\\-1 & 1 & 0\\0 & 1 & 1\end{array}\right|$$$$\phantom{\operatorname{det}(A)}\stackrel6=(p-8)(p-1)\left|\begin{array}{rrr}p-3 & -1 & 0\\-1 & 1 & 0\\0 & 1 & 1\end{array}\right|\stackrel7=(p-8)(p-1)(p-3-1)$$$$\phantom{\operatorname{det}(A)}=(p-8)(p-1)(p-4)\stackrel{!}{\ne}0$$Die Matrix ist also invertierbar, wenn:$$p\ne8\quad\land\quad p\ne1\quad\land\quad p\ne4$$
Hier die Rechenschritte im einzelnen:
1) Die 3-te Spalte wurde zur 2-ten Spalte addiert.
2) Die 1-te Zeile wurde von der 2-ten Zeile subtrahiert.
3) Aus der zweiten Zeile wurde der Faktor \((p-8)\) vor die Determinante gezogen.
4) Das Doppelte der 2-ten Zeile wurde zur 3-ten Zeile addiert.
5) Aus der dritten Zeile wurde der Faktor \((p-1)\) vor die Determinante gezogen.
6) Die 3-te Zeile wurde von der 1-ten Zeile subtrahiert.
7) Jetzt hat die letzte Spalte zwei Nullen und eine Eins, nach dieser Eins wurde die Determinante entwickelt.