Aufgabe:
P6.1. Methode der kleinsten Quadrate Sei \( M \in \mathbb{R}^{n \times 2}, \) mit \( M^{\mathrm{T}} M \in \mathbb{R}^{2 \times 2} \) invertierbar, \( b \in \mathbb{R}^{n} \)
(a) Bestimmen Sie den kritischen Punkt \( x^{*} \) der Funktion \( F: \mathbb{R}^{2} \rightarrow \mathbb{R}, F(x)=\|b-M x\|^{2} \)
(b) Zeigen Sie, dass \( F(x)=\left\|M\left(x-x^{*}\right)\right\|^{2}+C \) mit einer Konstanten \( C \geq 0 \)
LösuNG:
(a) Wir schreiben
$$ F(x)=(M x-b)^{\mathrm{T}}(M x-b)=\left(x^{\mathrm{T}} M^{\mathrm{T}}-b^{\mathrm{T}}\right)(M x-b)=x^{\mathrm{T}}\left(M^{\mathrm{T}} M\right) x-2 b^{\mathrm{T}} M x+b^{\mathrm{T}} b $$
Der Gradient dieser quadratischen Funktion ist
$$ \operatorname{grad} F(x)=2\left(M^{\mathrm{T}} M\right) x-2\left(b^{\mathrm{T}} M\right)^{\mathrm{T}}=2\left(M^{\mathrm{T}} M\right) x-2 M^{\mathrm{T}} b $$
Der einzige Kandidat für eine Extremstelle ist also die Lösung der Gleichung
$$ \begin{aligned} \left(M^{\mathrm{T}} M\right) x=& M^{\mathrm{T}} b \\ \text { nämlich } x^{*}=\left(M^{\mathrm{T}} M\right)^{-1} M^{\mathrm{T}} b \end{aligned} $$
(b) Es ist (wegen \( \left.\left(M^{\mathrm{T}} M\right)^{\mathrm{T}}=M^{\mathrm{T}} M\right) \)
$$ \begin{aligned} \left\|M\left(x-x^{*}\right)\right\|^{2}=&\left(M x-M\left(M^{\mathrm{T}} M\right)^{-1} M^{\mathrm{T}} b\right)^{\mathrm{T}}\left(M x-M\left(M^{\mathrm{T}} M\right)^{-1} M^{\mathrm{T}} b\right) \\ =&\left(x^{\mathrm{T}} M^{\mathrm{T}}-b^{\mathrm{T}} M\left(M^{\mathrm{T}} M\right)^{-1} M^{\mathrm{T}}\right)\left(M x-M\left(M^{\mathrm{T}} M\right)^{-1} M^{\mathrm{T}} b\right) \\ =& x^{\mathrm{T}}\left(M^{\mathrm{T}} M\right) x-2 b^{\mathrm{T}} M\left(M^{\mathrm{T}} M\right)^{-1} M^{\mathrm{T}} M x \\ &+b^{\mathrm{T}} M\left(M^{\mathrm{T}} M\right)^{-1} M^{\mathrm{T}} M\left(M^{\mathrm{T}} M\right)^{-1} M^{\mathrm{T}} b \\ =& x^{\mathrm{T}}\left(M^{\mathrm{T}} M\right) x-2 b^{\mathrm{T}} M x+b^{\mathrm{T}} M\left(M^{\mathrm{T}} M\right)^{-1} M^{\mathrm{T}} b \end{aligned} $$
Der Vergleich mit der Matrixform von \( F \) in (a) ergibt \( F(x)=\left\|M\left(x-x^{*}\right)\right\|^{2}+C \) mit
$$ C=b^{\mathrm{T}} b-b^{\mathrm{T}} M\left(M^{\mathrm{T}} M\right)^{-1} M^{\mathrm{T}} b \in \mathbb{R} $$
Problem:
Ich verstehe diese Aufgabe nicht richtig, genauer: ich weiß nicht genau was das für eine Funktion ist (also mit den beiden Strichen und hoch 2) und deswegen versehe ich den ersten Schritt der Lösung (Sowohl bei der a) als auch bei der b) )auch nicht.
Außerdem verstehe ich nicht wie man auf den gradient kommt, also warum x^T(M^TM)x abgeleitet 2(M^TM)x ist. Da wurde ja das transportiert einfach weckgelassen.
Wäre echt nett wenn mir jemand hierzu ein paar Kleinigkeiten erklären könnte
