Hallo,
Das Problem hierbei ist aber schon das, dass ein Spaltenvektor mal eine Matrix mal ein Zeilenvektor gerechnet wird
Das stimmt so nicht: Es ist Zeilenvektor mal Matrix mal Spaltenvektor.
Sei also f=(1,0,0), v=(0,1,0),w=0,0,1), p=av+bw. Wir müssen a,b bestimmen, so dass \(\langle f-p,f-p \rangle\) minimal wird. Das ist genau dann für \(a_0, b_0\) der Fall, wenn die Differenz \(f-(a_0v+b_0w)\) senkrecht steht auf allen Vektoren \(av+bw\). Dies führt zum linearen Gleichungssystem
$$\langle f-a_0v-b_0w,v \rangle=\langle f,f\rangle-a_0\langle v,v \rangle-b_0\langle w,v \rangle=0$$
$$\langle f-a_0v-b_0w,w \rangle=\langle f,f\rangle-a_0\langle v,w \rangle-b_0\langle w,w \rangle=0$$
Jetzt kann man die Zahlen für dieses Gleichungssystem mit dem konkreten Skalarprodukt ausrechnen und das System lösen.
Gruß Mathhilf