Die erste Quadrik lässt sich, wie Unknown bereits schrieb, als
$$ p(x)=x^TAx $$ mit $$ A=\begin{pmatrix} 1 & 3 & 6 \\ 3 & 1 & 2\\ 6&2&4 \end{pmatrix} $$ schreiben (mach Dir das klar!).
Sei nun U eine Matrix, die als Spalten ein Orthonormalsystem von Eigenvektoren von A enthält. So lässt sich eine Diagonalmatrix B mit B=UT*A*U angeben, welche in der Diagonale die Eigenwerte von A (also B=diag(λ1,λ2,λ3) ) enthält.
Die Transformationsmatrix ist also U, die Resultierende ist B. (so, wie ich es verstehe)
Für die Lösung zäumst Du das Pferd von hinten auf, da Du für die Eigenvektoren zuerst die Eigenwerte benötigst.
Die Eigenwerte errechnest Du aus det(A-λE)=0. Das geht hier mit Sarrus oder eleganter mit der Entwicklung nach Laplace. (Das solltest Du händisch machen, denn Eigenwerte muss man einfach können) Die Eigenwerte sind 0,10,-4. Für jeden Eigenwert löst Du nun das GLS (A-λi E)vi=0 und ermittelst damit die Eigenvektoren vi. Nun normierst Du die Eigenvektoren indem Du sie mit dem Skalar 1/Ι vi Ι multiplizierst. Es sind für die Eigenwerte in genannter Reihenfolge die normierten EV:
1/√5*(0 -2 1)T
1/√70*(5 3 6)T
1/√14*((-3 1 2)T
Damit kannst Du nun U und B angeben.