Lineare Ausgleichsrechnung, Residuum

Question

Aufgabe:

Gegeben sind Daten $\left(t_{i}, y_{i}\right) \in \mathbb{R}^{2}$ für $i=1, \ldots, m(m>3)$ mit $0<t_{1}<t_{2}<\cdots<t_{m}$. Diese Daten werden mit einer Funktion der Form $g(t)=a+b t+c \frac{1}{t}$ approximiert, wobei die Parameter $a, b, c$ geeignet zu bestimmen sind.

a) Formulieren Sie die Koeffizientenmatrix $A$ zum linearen Ausgleichsproblem
$\min _{x \in \mathbb{R}^{3}}\|A x-y\|_{2}^{2}$
wobei $x:=(a, b, c)^{\top}$ und $y:=\left(y_{1}, \ldots, y_{m}\right)^{\top}$ gilt.
b) Die Normalgleichungen zum Ausgleichsproblem stellen ein lineares Gleichungssystem $B x=w$ zur Bestimmung der unbekannten Parameter dar. Geben Sie Formeln für die Komponenten der Matrix $B$ und der rechten Seite $w$ an für das obige spezielle Ausgleichsproblem.
c) Nun sollen die Daten mit einer Funktion der Form $\tilde{g}(t)=\tilde{a}+\tilde{b} t+\tilde{c} \frac{1}{t}+\tilde{d} t^{2}$ approximiert werden. Es sei $\tilde{x} \in \mathbb{R}^{4}$ die Lösung des zugehörigen linearen Ausgleichsproblems und $\tilde{r}(\tilde{x})$ das Residuum. Beweisen Sie $\|\tilde{r}(\tilde{x})\|_{2} \leq\|r(x)\|_{2}$, wobei $r$ und $x$ das Residuum und die Lösung zum linearen Ausgleichsproblem bezüglich der Funktion $g$ sind.

Problem/Ansatz:

Hallo zusammen, könnte mir jemand bitte bei c) helfen?

a) und b) habe ich schon :)

Comments

Für c) brauchst Du keine weiteren mathematische Aussagen, keine Rechnungen, nix.

Es handelt sich um eine elementare Verständnisfrage zum Thema Ausgleichsrechnung.

Also suche nix Kompliziertes, benutze Deinen gesunden Menschenverstand.

---

c) Um zu zeigen, dass $\|\tilde{r}(\tilde{x})\|_{2} \leq \|r(x)\|_{2}$, betrachten wir das Residuum der Funktion $g$ und das Residuum der Funktion $\tilde{g}$. Sei $r(x) = Ax - y$ das Residuum von $g$ und $\tilde{r}(\tilde{x}) = A\tilde{x} - y$ das Residuum von $\tilde{g}$.

Wir möchten beweisen, dass $\|\tilde{r}(\tilde{x})\|_{2} \leq \|r(x)\|_{2}$. Dafür betrachten wir den quadratischen Abstand zwischen den Residuen:

$\|\tilde{r}(\tilde{x})\|_{2}^2 - \|r(x)\|_{2}^2 = \|\tilde{r}(\tilde{x})\|_{2}^2 - \|Ax - y\|_{2}^2$

Dieser Ausdruck kann umgeformt werden:

$\begin{aligned} \|\tilde{r}(\tilde{x})\|_{2}^2 - \|r(x)\|_{2}^2 &= (\tilde{r}(\tilde{x}))^\top \tilde{r}(\tilde{x}) - (Ax - y)^\top (Ax - y) \\ &= \tilde{x}^\top A^\top A \tilde{x} - 2y^\top Ax + y^\top y - x^\top A^\top A x + 2y^\top Ax - y^\top y \\ &= \tilde{x}^\top A^\top A \tilde{x} - x^\top A^\top A x \\ &= \tilde{x}^\top B \tilde{x} - x^\top B x \end{aligned}$

Da $B = A^\top A$ eine symmetrische, positiv semidefinite Matrix ist, gilt $\tilde{x}^\top B \tilde{x} \leq x^\top B x$. Daraus folgt:

$\|\tilde{r}(\tilde{x})\|_{2}^2 - \|r(x)\|_{2}^2 \leq 0$

Da der Ausdruck kleiner oder gleich Null ist, ergibt sich:

$\|\tilde{r}(\tilde{x})\|_{2}^2 \leq \|r(x)\|_{2}^2$

Und somit:

$\|\tilde{r}(\tilde{x})\|_{2} \leq \|r(x)\|_{2}$

Richtig so?

---

Das ist offenbar falsch, alleine schon deshalb wiel x dreidimensional ist und x-Tilde vierdimensional; als kann nicht beides mit eine Matrix A multiipliziert werden.

Ich erinnere nochmal an meinen Kommentar.

---

$\begin{array}{l}\frac{1}{t_{m}} \cdot c=y_{m} \Rightarrow c=y_{m} \cdot t_{m} \\ t_{m}^{2} \cdot \tilde{d}=y_{m} \Rightarrow \tilde{d}=\frac{y_{m}}{\sqrt{t_{m}}}\end{array}$

Also weil c  größer gleich d~ ist.

Richtig oder?

---

Das kann ich nicht nachvollziehen.

---

$\begin{array}{l}g(t)=a+b t+c \frac{1}{t} \\ {\left[\begin{array}{ccc}1 & t_{1} & \frac{1}{t_{1}} \\ \vdots & \vdots & \vdots \\ 1 & t_{m} & \frac{1}{t_{m}}\end{array}\right]\left[\begin{array}{l}a \\ b \\ c\end{array}\right]=\left[\begin{array}{c}y_{1} \\ y_{2} \\ \vdots \\ y_{m}\end{array}\right]} \\ \tilde{g}(t)=\tilde{a}+\tilde{b} t+\tilde{c} \frac{1}{t}+\tilde{d} t^{2} \\ {\left[\begin{array}{cccc}1 & t_{1} & \frac{1}{t_{1}} & t_{1}^{2} \\ \vdots & \vdots & \vdots & \vdots \\ 1 & t_{m} & \frac{1}{t_{m}} & t_{m}^{2}\end{array}\right]\left[\begin{array}{c}\tilde{a} \\ \tilde{b} \\ \tilde{c} \\ \tilde{d}\end{array}\right]=\left[\begin{array}{c}y_{1} \\ y_{2} \\ \vdots \\ y_{m}\end{array}\right]} \\ \frac{1}{t_{m}} \cdot c=y_{m} \Rightarrow c=y_{m} \cdot t_{m} \\ t_{m}^{2} \cdot \tilde{d}=y_{m} \Rightarrow \tilde{d}=\frac{y_{m}}{\sqrt{t_{m}}} \\\end{array}$

---

Wie kommst Du auf

$$\frac{1}{t_m}c=y_m$$

---

wie ich weiß, r ist die letzte Lösung also ich meinte c und d~

Ich habe das einfach so genommen.. ich weiß nicht wie ich das sonst machen soll..

Hast du Tipps?

Answer 1

Linear Ausgleichsrechnung bedeutet hier, das Minimum der Mengen

$$P:=\{\sum_{i=1}^m(g(t_i)-y_i)^2\mid g(t)=a+bt+c/t, \; a,b,c \in \R\}$$

bzw.

$$Q:=\{\sum_{i=1}^m(g(t_i)-y_i)^2\mid g(t)=a+bt+c/t+dt^2, \; a,b,c,d \in \R\}$$

Weil $P \sub Q$, ist $\min Q \leq \min P$.

Comments

Aber vielleicht muss man das$\|\tilde{r}(\tilde{x})\|_{2} \leq\|r(x)\|_{2}$  verwenden. Sonst hãtten die nur geschrieben, dass wir beweisen müssen dass $\tilde{r}(\tilde{x}) \leq r(x)$ ist. Oder?

---

Es ist $\min P=\|r(x)\|^2$

---

Aber woher wissen wir das $P \sub Q$ dann $\min Q \leq \min P$ ?

---

Das ist der schon angesprochene gesunde Menschenverstand: Das kleinste Kind in einer Schulklasse ist größer ($\ge$) als das kleinste Kind der ganzen Schule.

---

Jetzt verstehe ich es. Danke!