Aloha :)
Ich verstehe die Aufgabe so, dass die \(4\times4\)-Matrix \(M\) gesucht ist.
$$0=\left(x,y,z,1\right)\cdot\left(\begin{array}{c}m_{11} & m_{12} & m_{13} & m_{14}\\m_{21} & m_{22} & m_{23} & m_{24}\\m_{31} & m_{32} & m_{33} & m_{34}\\m_{41} & m_{42} & m_{43} & m_{44}\end{array}\right)\cdot\left(\begin{array}{c}x\\y\\z\\1\end{array}\right)$$$$=\left(x,y,z,1\right)\cdot\left(\begin{array}{c}m_{11}x + m_{12}y + m_{13}z + m_{14}\\m_{21}x + m_{22}y + m_{23}z + m_{24}\\m_{31}x + m_{32}y + m_{33}z + m_{34}\\m_{41}x + m_{42}y + m_{43}z + m_{44}\end{array}\right)$$$$=m_{11}x^2 + m_{12}xy + m_{13}xz + m_{14}x +m_{21}xy + m_{22}y^2 + m_{23}yz + m_{24}y + m_{31}xz + m_{32}yz + m_{33}z^2 + m_{34}z + m_{41}x + m_{42}y + m_{43}z + m_{44}$$$$=m_{11}x^2 + m_{22}y^2 + m_{33}z^2 + (m_{12}+m_{21})xy + (m_{13}+m_{31})xz + (m_{23}+ m_{32})yz + (m_{14}+m_{41})x + (m_{24}+m_{42})y + (m_{34}+m_{43})z + m_{44}$$Offenbar muss man im Allgemeinen noch fordern, dass die Matrix \(M\) symmetrisch ist, um eine eindeutige Darstellung zu erhalten. Dieser Hinweis fehlt allerdings in der Aufgabenstellung. Mit Symmetrie haben wir dann:$$=m_{11}x^2 + m_{22}y^2 + m_{33}z^2 + 2m_{12}xy + 2m_{13}xz + 2m_{23}yz + 2m_{14}x + 2m_{24}y + 2m_{34}z + m_{44}$$Diese Darstellung kann man nun mit derjenigen für die Kugel vergleichen:$$x^2+y^2+(z-2)^2=9\quad\Leftrightarrow\quad x^2+y^2+z^2-4z-5=0$$Das heißt: \(m_{11}=1\,,\,m_{22}=1\,,\,m_{33}=1\,,\,m_{34}=m_{43}=-2\,,\,m_{44}=-5\) bzw.
$$M=\left(\begin{array}{c} 1 & 0 & 0 & 0\\0 & 1 & 0 & 0\\0 & 0 & 1 & -2\\ 0 & 0 & -2 & -5\end{array}\right)$$