Zeigen Sie, dass A^{T} A positiv definit ist.

Question

Text erkannt:

Betrachten Sie die folgenden Wertepaare:
\( \left(x_{1}, y_{1}\right)=(-2,0),\left(x_{2}, y_{2}\right)=(-1,0),\left(x_{3}, y_{3}\right)=(0,1),\left(x_{4}, y_{4}\right)=(1,0),\left(x_{5}, y_{5}\right)=(2,0) \text {. } \)

Gesucht ist die Funktion \( f(t)=a t^{2}+b t+c \) welche \( \left(\sum \limits_{i=1}^{5}\left(y_{i}-f\left(x_{i}\right)\right)^{2}\right)^{1 / 2} \) minimiert.
(a) Formulieren Sie die Bestimmung der Funktion \( f(t) \) in Form eines linearen Ausgleichsproblems \( \|b-A x\|_{2}=\min \). Geben Sie die Matrix \( A \) und den Vektor \( b \) konkret an.
(b) Stellen Sie die Normalengleichung
\( A^{T} A x=A^{T} b \)
zur Lösung des Ausgleichsproblem aus (a) auf. Zeigen Sie, dass \( A^{T} A \) positiv definit ist. Lösen Sie die Normalengleichung und geben Sie die Funktion \( f(t) \) explizit an.

Hallo,

der Ansatz letzte Woche hat mir sehr geholfen. Das Hornerschema habe ich jetzt auch verstanden. Da ich aber immer noch etwas hinterher hänge, da ich sehr lange Coron hatte, wollte ich nun nochmal nach einem Ansatz oder einem Vorgehen für diese Aufgabe fragen. Ich bedanke mich jetzt schon für jede Hilfe!

LG Tim

Answer 1

Vorab: Die Aufgabe enthält einen Bezeichnungsfehler, weil die Variable b in zwei verschiedenen Bedeutungen verwendet wird, ähnlich x. Statt a,b,c benutze ich \(v_1,v_2,v_3\) und dann v als Bezeichnung für den Vektor aus diesen 3 Komponenten.

Dann sei

$$b:=\begin{pmatrix} y_1  \\ \ldots \\y_5 \end{pmatrix}\qquad A:=\begin{pmatrix} x_1^2 & x_1 & 1 \\ \ldots & \ldots & \ldots \\ x_5^2 & x_5 & 1 \end{pmatrix}$$

Das musst Du Dir anschauen und Dich über zeugen, dass \(\|b-Av\|_2\) genau der Ausdruck ist, der minimiert werden soll.

Dann gehts mit der Rechnerei mit der Normalgleichung weiter...

Was die Positivität angeht, hat ja schon T erklärt, dass

$$v^TA^TAv=\|Av\|_2^2\geq 0 $$

Ist. Bleibt zu zeigen, dass der Kern von A nur den Null-Vektor enthält. Ich weiß nicht, ob Ihr das einfach mit der konkreten Matrix A nachrechnen sollt. oder ob Ihr das allgemein wissen sollt /könnt - etwa wegen Polynominterpolation oder Vandermonde-Matrix oder?

Comments

Zu a)
Erhaltende Gleichungen:
f(x1) = a(-2)^2 + b(-2) + c = 4a -2b +c = y1 = 0
f(x2) = a(-1)^2 + b(-1) +c = a -b +c = y2 = 0
f(x3) =a(0)^2 + b(0) + c = c = y3 =1
f(x4) = a(1)^2 + b(1) +c = y4 = 0
f(x5) = a(2)^2 + b(2) +c =4a +2b +c = y5 = 0

Schreibe nun als Av=b:
A= (4, -2, 1; 1, -1, 1; 0, 0, 1; 1, 1, 1; 4, 2, 1)
b= (0; 0; 1; 0; 0)


Zu b)

A^T A= (26, 6, 10; 6, 6, 6; 10, 6, 5)
A^T b= (1; 0; 1)

Positiv definit:
v^T A^T Av= || Av ||^2_2 , das ist immer größer oder gleich null ist, da er die Norm eines Vektors Av im Quadrat darstellt. Der Kern der Matrix A enthält nur den Nullvektor, da eine Matrix vollen Rang hat, wenn ihre Zeilen linear unabhängig sind. Also hier hat A fünf Zeilen, aber nur drei Spalten, damit sind ihre Zeilen linear abhängig, daraus folgt A ist nicht trivial und enthält nur den Nullvektor.

Das wäre jetzt meine Lösung mit deinem Ansatz. Hättest du das gleiche raus?

---

Es wäre doch

$$A^TA=\begin{pmatrix}4&1&0&1&4\\-2&-1&0&1&2\\1&1&1&1&1\end{pmatrix}\begin{pmatrix}4&-2&1\\1&1&1\\0&0&1\\1&1&1\\4&2&1\end{pmatrix}$$

da hätte ich ein anderes Ergebnis.

damit sind ihre Zeilen linear abhängig,

Das ist hier trivial, weil es mehr Zeilen als Spalten gibt; daher kann daraus nichts folgen. Du musst prüfen, ob die Spalten linear unabhängig sind.

Answer 2

Aloha :)

Eine quadratische Matrix \(M\in\mathbb R^{n\times n}\) ist positiv definit, wenn für alle \(\vec x\in\mathbb R^n\setminus\{\vec0\}\) gilt:$$\vec x^T\cdot M\cdot\vec x>0$$Das ist für die zu untersuchende Matrix \(M=A^TA\) aber sofort klar, denn:$$\vec x^T\cdot(A^T\cdot A)\cdot\vec x=(\vec x^T\cdot A^T)\cdot(A\cdot\vec x)=(A\cdot\vec x)^T\cdot(A\cdot\vec x)=\|A\cdot\vec x\|^2=\|\vec b\|^2>0$$

Comments

Woraus folgt das letzte Gleichheitszeichen?

---

Außerdem müsste die Positivität für beliebige x ( außer 0) gezeigt werden?

---

Es ist doch \(A\cdot\vec x=\vec b\) die Gleichung, die zu lösen ist.

---

Nein. Der Aufgabentext sagt: Lineares Ausgleichsproblem. A ist hier eine 5-3-Matrix.