Multiple lineare Regression

Question

Aufgabe:

Hi es geht um die Multiple lineare Regression. Die Lösung für Y = X b lautet ja b = (X^T  * X)^-1 * X^T Y

Problem/Ansatz:

Warum kann ich das nicht einfach umformen zu b = X^-1 Y ?

Es gilt doch b = (X^T * X)^-1 * X^T Y = X^-1  (X^T )^-1 * X^T Y = X^-1 Y

Liegt es daran, dass die Inverse Matrix von X nicht immer definiert ist und die von X^T * X schon?

Comments

Sind Begriffe wie Normalengleichungen und Moore Penrose Inverse bekannt?

Answer 1

Aloha :)

Wenn du eine Regression als Näherung benötigst, hast du in der Regel mehr Gleichungen als Variablen, d.h. ein sogenanntes "überbestimmtes" Gleichungssystem. Du wirst daher im Allgemeinen keine Lösung für die Variablen finden, die alle Gleichungen erfüllt. Formal hat in solchen Fällen die Koeffizientenmatrix \(X\) mehr Zeilen als Spalten und ist daher nicht quadratisch und damit auch nicht invertierbar. Mit anderen Worten, \(X^{-1}\) existiert nicht.

Man kann nun zeigen, dass man die beste Näherung im Sinne der Methode der kleinsten Fehlerquadrate findet, indem man beide Seiten des linearen Gleichungssystem \((X\cdot b=y)\) von links mit der transponierten Matrix \(X^T\) multipliziert.

Die Matrix \((X^T\cdot X)\) ist dann quadratisch und in eigentlich allen realen Anwendungsfällen auch invertierbar (d.h. ihre Determinante ist von Null verschieden).