Lineare Ausgleichsrechnung, Residuum

Question

Aufgabe:

Gegeben sind Daten \( \left(t_{i}, y_{i}\right) \in \mathbb{R}^{2} \) für \( i=1, \ldots, m(m>3) \) mit \( 0<t_{1}<t_{2}<\cdots<t_{m} \). Diese Daten werden mit einer Funktion der Form \( g(t)=a+b t+c \frac{1}{t} \) approximiert, wobei die Parameter \( a, b, c \) geeignet zu bestimmen sind.

a) Formulieren Sie die Koeffizientenmatrix \( A \) zum linearen Ausgleichsproblem
\( \min _{x \in \mathbb{R}^{3}}\|A x-y\|_{2}^{2} \)
wobei \( x:=(a, b, c)^{\top} \) und \( y:=\left(y_{1}, \ldots, y_{m}\right)^{\top} \) gilt.
b) Die Normalgleichungen zum Ausgleichsproblem stellen ein lineares Gleichungssystem \( B x=w \) zur Bestimmung der unbekannten Parameter dar. Geben Sie Formeln für die Komponenten der Matrix \( B \) und der rechten Seite \( w \) an für das obige spezielle Ausgleichsproblem.
c) Nun sollen die Daten mit einer Funktion der Form \( \tilde{g}(t)=\tilde{a}+\tilde{b} t+\tilde{c} \frac{1}{t}+\tilde{d} t^{2} \) approximiert werden. Es sei \( \tilde{x} \in \mathbb{R}^{4} \) die Lösung des zugehörigen linearen Ausgleichsproblems und \( \tilde{r}(\tilde{x}) \) das Residuum. Beweisen Sie \( \|\tilde{r}(\tilde{x})\|_{2} \leq\|r(x)\|_{2} \), wobei \( r \) und \( x \) das Residuum und die Lösung zum linearen Ausgleichsproblem bezüglich der Funktion \( g \) sind.

Problem/Ansatz:

Hallo zusammen, könnte mir jemand bitte bei c) helfen?

a) und b) habe ich schon :)

Comments

Für c) brauchst Du keine weiteren mathematische Aussagen, keine Rechnungen, nix.

Es handelt sich um eine elementare Verständnisfrage zum Thema Ausgleichsrechnung.

Also suche nix Kompliziertes, benutze Deinen gesunden Menschenverstand.

---

c) Um zu zeigen, dass \( \|\tilde{r}(\tilde{x})\|_{2} \leq \|r(x)\|_{2} \), betrachten wir das Residuum der Funktion \( g \) und das Residuum der Funktion \( \tilde{g} \). Sei \( r(x) = Ax - y \) das Residuum von \( g \) und \( \tilde{r}(\tilde{x}) = A\tilde{x} - y \) das Residuum von \( \tilde{g} \).

Wir möchten beweisen, dass \( \|\tilde{r}(\tilde{x})\|_{2} \leq \|r(x)\|_{2} \). Dafür betrachten wir den quadratischen Abstand zwischen den Residuen:

\( \|\tilde{r}(\tilde{x})\|_{2}^2 - \|r(x)\|_{2}^2 = \|\tilde{r}(\tilde{x})\|_{2}^2 - \|Ax - y\|_{2}^2 \)

Dieser Ausdruck kann umgeformt werden:

\( \begin{aligned} \|\tilde{r}(\tilde{x})\|_{2}^2 - \|r(x)\|_{2}^2 &= (\tilde{r}(\tilde{x}))^\top \tilde{r}(\tilde{x}) - (Ax - y)^\top (Ax - y) \\ &= \tilde{x}^\top A^\top A \tilde{x} - 2y^\top Ax + y^\top y - x^\top A^\top A x + 2y^\top Ax - y^\top y \\ &= \tilde{x}^\top A^\top A \tilde{x} - x^\top A^\top A x \\ &= \tilde{x}^\top B \tilde{x} - x^\top B x \end{aligned} \)

Da \( B = A^\top A \) eine symmetrische, positiv semidefinite Matrix ist, gilt \( \tilde{x}^\top B \tilde{x} \leq x^\top B x \). Daraus folgt:

\( \|\tilde{r}(\tilde{x})\|_{2}^2 - \|r(x)\|_{2}^2 \leq 0 \)

Da der Ausdruck kleiner oder gleich Null ist, ergibt sich:

\( \|\tilde{r}(\tilde{x})\|_{2}^2 \leq \|r(x)\|_{2}^2 \)

Und somit:

\( \|\tilde{r}(\tilde{x})\|_{2} \leq \|r(x)\|_{2} \)

Richtig so?

---

Das ist offenbar falsch, alleine schon deshalb wiel x dreidimensional ist und x-Tilde vierdimensional; als kann nicht beides mit eine Matrix A multiipliziert werden.

Ich erinnere nochmal an meinen Kommentar.

---

\( \begin{array}{l}\frac{1}{t_{m}} \cdot c=y_{m} \Rightarrow c=y_{m} \cdot t_{m} \\ t_{m}^{2} \cdot \tilde{d}=y_{m} \Rightarrow \tilde{d}=\frac{y_{m}}{\sqrt{t_{m}}}\end{array} \)

Also weil c  größer gleich d~ ist.

Richtig oder?

---

Das kann ich nicht nachvollziehen.

---

\( \begin{array}{l}g(t)=a+b t+c \frac{1}{t} \\ {\left[\begin{array}{ccc}1 & t_{1} & \frac{1}{t_{1}} \\ \vdots & \vdots & \vdots \\ 1 & t_{m} & \frac{1}{t_{m}}\end{array}\right]\left[\begin{array}{l}a \\ b \\ c\end{array}\right]=\left[\begin{array}{c}y_{1} \\ y_{2} \\ \vdots \\ y_{m}\end{array}\right]} \\ \tilde{g}(t)=\tilde{a}+\tilde{b} t+\tilde{c} \frac{1}{t}+\tilde{d} t^{2} \\ {\left[\begin{array}{cccc}1 & t_{1} & \frac{1}{t_{1}} & t_{1}^{2} \\ \vdots & \vdots & \vdots & \vdots \\ 1 & t_{m} & \frac{1}{t_{m}} & t_{m}^{2}\end{array}\right]\left[\begin{array}{c}\tilde{a} \\ \tilde{b} \\ \tilde{c} \\ \tilde{d}\end{array}\right]=\left[\begin{array}{c}y_{1} \\ y_{2} \\ \vdots \\ y_{m}\end{array}\right]} \\ \frac{1}{t_{m}} \cdot c=y_{m} \Rightarrow c=y_{m} \cdot t_{m} \\ t_{m}^{2} \cdot \tilde{d}=y_{m} \Rightarrow \tilde{d}=\frac{y_{m}}{\sqrt{t_{m}}} \\\end{array} \)

---

Wie kommst Du auf

$$\frac{1}{t_m}c=y_m$$

---

wie ich weiß, r ist die letzte Lösung also ich meinte c und d~

Ich habe das einfach so genommen.. ich weiß nicht wie ich das sonst machen soll..

Hast du Tipps?

Answer 1

Linear Ausgleichsrechnung bedeutet hier, das Minimum der Mengen

$$P:=\{\sum_{i=1}^m(g(t_i)-y_i)^2\mid g(t)=a+bt+c/t, \; a,b,c \in \R\}$$

bzw.

$$Q:=\{\sum_{i=1}^m(g(t_i)-y_i)^2\mid g(t)=a+bt+c/t+dt^2, \; a,b,c,d \in \R\}$$

Weil \(P \sub Q\), ist \(\min Q \leq \min P\).

Comments

Aber vielleicht muss man das\( \|\tilde{r}(\tilde{x})\|_{2} \leq\|r(x)\|_{2} \)  verwenden. Sonst hãtten die nur geschrieben, dass wir beweisen müssen dass \( \tilde{r}(\tilde{x}) \leq r(x) \) ist. Oder?

---

Es ist \(\min P=\|r(x)\|^2\)

---

Aber woher wissen wir das \(P \sub Q\) dann \(\min Q \leq \min P\) ?

---

Das ist der schon angesprochene gesunde Menschenverstand: Das kleinste Kind in einer Schulklasse ist größer (\(\ge\)) als das kleinste Kind der ganzen Schule.

---

Jetzt verstehe ich es. Danke!