Was hat es mit der Momenten-Methode und der Maximum-Likelihood Methode auf sich?

Question

Aufgabe:

Eine konkrete Aufgabe habe ich nicht sondern eher eine Frage:

Was hat es mit der Momenten-Methode und der Maximum-Likelihood Methode auf sich?

Ich lese immer nur, dass man mit denen "Paramter" schätzt.

Hier mal das, was ich mir bisher zusammengereimt habe:

Soweit ich es verstanden habe, geht es darum, aus einer Stichprobe Rückschlüsse auf die Grundgesamtheit ziehen zu können. Zieht man aus einer Grundmenge nun mehrere Stichproben, kann man diese wiederum als eine Verteilung (Stichprobenkennwert-Verteilung) darstellen. Von dieser Verteilung kann man dann irgendwelche Messgrößen (Kennwerte) wie z.B. das arithmetische Mittel oder die Varianz berechnen, die aber nicht gleich ist ihrem Pendant in der Grundmenge ist (hier spricht man dann nicht mehr von Kennwerten, sondern von Paramtern).

(Falls das nicht falsch gewesen ist) Welche Rolle spielen nun die beiden obigen Schätzverfahren?

Oder schätzt man mit denen einfach direkt z.B. das Arithmetische Mittel einer Grundmenge? Wenn ja, wie?

Könnte mir das vielleicht jemand erklären als ob ich 5 wäre? :D

Answer 1

Die Schätzungen beruhen - wie du richtig gesagt hast - auf der Idee möglichst gut einen Parameter der Grundgesamtheit zu schätzen, wenn man lediglich eine bzw. mehrere Stichproben zur Verfügung hat. Die Maximum Likelyhood Methode stellt dabei ein Verfahren auf, bei dem du den Parameter erhalten möchtest, der die Beobachtung, die du gemacht hast, am wahrscheinlichsten macht. Das heißt zum Beispiel du hast z.B. 20 Leute gefragt, ob sie eine bestimmte Partei wählen und erhältst dann entsprechend die Ergebnisse und durch die Methode ermittelst du einen Schätzer, der die Beobachtungen am wahrscheinlichsten machen soll.

Die Momentenmethode arbeitet bei der Schätzung des Parameters mit den Momenten deiner Stichprobe und den Momenten deiner Verteilung und genutzt das Gesetzt der großen Zahlen. Denn - wie du weißt - konvergiert das Stichprobenmittel stochastisch gegen den Erwartungswert einer Zufallsvariable. Also einfach zwei verschiedene Herangehensweisen, die nicht notwendigerweise gute Schätzer liefern müssen. Man kann aber die Güte dieser Schätzer anhand der Erwartungstreue und Konsistenz beurteilen .

Comments

Erstmal danke!

"Die Maximum Liklehood Methode stellt dabei ein Verfahren auf, bei dem du den Parameter erhalten möchtest, der die Beobachtung, die du gemacht hast, am wahrscheinlichsten macht."

Das habe ich leider noch immer nicht so ganz verstanden. Der Paramater (z.B. der Mittelwert) ist ja eine Zahl, oder?

Also sagen wir, ich bin Politiker und möchte das Durchschnittsalter meiner Wähler wissen. Ich ziehe eine Stichprobe von 100 Wählern und ziehe aus der Stichprobe den Mittelwert der jetzt z.B. 55 Jahre ist.

"durch die Methode ermittelst du einen schätzer, der die Beobachtungen am wahrscheinlichsten machen soll."

Was ist der Schätzer? Ist das dann eine Verteilung? Also z.B. habe ich die Ahnung, dass das Durchschnittsalter vielleicht als Normalverteilung vorliegt. Nur noch nicht, wie genau diese aussieht. Dafür bestimme ich dann als Schätzer die Normalverteilung und berechne als Paramter den Erwartungswert so, dass dieser = dem Mittelwert meiner Stichprobe ist ?

Sry, wenn ich mich da noch etwas Doof stelle..

---

Alles Gut :)

Der Schätzer ist eine Zahl z.B. wie du sagst, möchtest du den Mittelwert deiner Verteilung schätzen, um damit z.B. mit der Normalverteilung weiter rechnen zu können.

Der Mittelwert deiner Stichprobe ist dabei ein geeigneter Schätzer nach deiner Momentenmethode, die ja gerade den tatsächlichen Mittelwert deiner Verteilung gleich dem Mittelwert deiner Stichprobe setzt. Du musst also zuvor eine Annahme getroffen haben, welche Verteilung vorliegt. Beispielsweise wie du sagst Normalverteilung, dann wäre μ= Mittelwert der Stichprobe bei der Momentenmethode, denn der Erwartungswert der Normalverteilung ist μ und das setzt man dann immer gleich dem Stichprobenmittelwert.

Bei dem Maximumlikelihoodschätzer nimmst du nicht die Momente, sondern explizit die Verteilung deiner Stichprobe. Beispielsweise auch hier die Normalverteilung, da du davon ausgehst, dass das Alter normalverteilt ist. Dann möchtest du gerne ermitteln: Wenn ich beobachtet habe, Proband 1 Alter 53, Proband 2 Alter 79, usw..

wie muss mein tatsächliche Durchschnittsalter μ sein, damit die Wahrscheinlichkeit, dass gerade diese Alterskonstellation auftritt, größtmöglich wird. Dafür stellt man dann die Likelihoodfunktion und ermittelt das "bestmögliche" Durchschnittsalter nach dieser Methode.

Man kann natürlich in diesem Fall einfach mit dem Stichprobenmittelwert arbeiten, weil dieser Schätzer erwartungstreu ist. Das heißt man würde hier in diesem konkreten Fall keine Likelihood-Funktion aufstellen etc., sondern den Wert einfach nehmen. Diese beiden Methoden sind nur mögliche Varianten wie man Schätzer, sei es Erwartungswert, Varianz, Wahrscheinlichkeiten, erhalten kann.

Answer 2

Angenommen du hast eine Parametrisierte Familie. Das ist einfach eine Menge von zufallsverteilungen, dessen Verteilungen von Parametern Abhängen.

Beispiel: die Familie der Normalverteilungen mit dem Erwartungswert mü und die Varianz sigma^2. Sigma^2 und mü sind dann die Parameter, mü kommt aus dem Raum der reellen Zahlen und sigma^2 aus dem Raum der positiven reellen Zahlen.

Man nimmt nun an, dass man eine Stichprobe X_1, .... X_n hat, dessen Realisierungen einer Verteilung der Familie entsprechen und unabhängig zueinander sind.

Ziel ist nun, die zu der Stichprobe gehörenden Parameter zu suchen. Der Maximum Likelyhood Schätzer und der Momentschätzer sind zwei Möglichkeiten, wie man das machen könnte.

Bei der Maximum Likelyhood Methode bestimmt man die Wahrscheinlichkeit, dass für einen bestimmen Parameter die Stichprobe rauskommt (bzw welche Dichte die gemeinsame Verteilung an der Stelle der Stichprobe hat). Man sucht dann den Parameter, der diese Funktion maximiert. Das ist dann der Maximum Likelyhood schätzer. Bei der Normalverteilung würde rauskommen, dass der Maximum Likelyhood Schätzer für mü das Arithmetische Mittel ist, und für sigma^2 die Stichprobenvarianz.

Bei der Momentmethode Bestimmt man stattdessen die Momente der Zufallsvariable, dessen Verteilung aus der Familie entspricht.

Bei der Normalverteilung gilt zum Beispiel:

E(X)=my

E(X^2) = sigma^2+my^2

(Man braucht Normalerweise nur so viele Momente, wie Parameter, also hier 2)

Wir erhalten damit ein Gleichungssystem, welches wir leicht nach my und sigma^2 auflösen können:

my = E(X)

sigma^2 = E(X^2)-E(X)^2

Wir Ersetzen nun E(X) und E(X^2) mit den Momenten der Stichprobe (Bei E(X) ist es das Arithmetische Mittel der Stichprobe, bei E(X^2) das Arithmetische Mittel von X_1^2,...,X_^2) und erhalten dadurch den Momentschätzer (hier ist der Schätzer identisch zum Maximum Likelyhood Schätzer).