Guten Morgen, ich möchte kurz rekapitulieren.
Das Wichtigste, was wir jetzt gemacht haben nach der deskriptiven
Statistik.
Wir haben ausgebend vom Binomialfall von der Bernoulli-Kette ein
Schätzproblem kennengelernt, nämlich den unbekannten Parameter p der
Binomialverteilung zu schätzen.
Und zwar aufgrund von zufälligen relativen Trefferhäufigkeiten.
Wir haben dort dann einige Phänomene gesehen.
Bei diesem Schätzverfahren, wir haben auch gesehen, dass es einem
Prinzip untergeordnet ist, nämlich gegeben die Daten, variiere das p
und betrachte das p als plausiblen Schätzwert, für den die
beobachteten Daten die größte Wahrscheinlichkeit erhalten.
Wir haben also was maximiert bezüglich p.
Wir haben es dann in einen allgemeinen Rahmen eingebettet.
Der allgemeine Rahmen sieht einen Parameterraum vor, der wird im
Allgemeinen mit Groß-Theta bezeichnet.
Im Binomialfall ist das das Einheitsintervall.
Und der Parameter, der heißt dann Klein-Theta, der war bei uns im
Binomialfall p.
Aber jedenfalls Groß-Theta ist der Parameterraum.
Dann haben wir einen sogenannten Stichprobenraum, mit so einem
calligrafischen x bezeichnet.
Im Binomialfall ist der Stichprobenraum ganz einfach, wenn ich eine
Bernoulli -Kette der Länge n beobachte, die Menge der n-Tupel aus
Nullen und Einsen.
Das ist also eine Teilmenge des r hoch n.
Das ist in dem Fall der Stichprobenraum.
Der könnte sonst auch anders aussehen.
Wir werden noch andere Beispiele kennenlernen.
Für jedes Theta, das ist wichtig, haben wir eine
Wahrscheinlichkeitsverteilung, ein Wahrscheinlichkeitsmaß auf den
Teilmengen von x.
Dieses Theta steuert dann das Auftreten der Daten.
Und wichtig ist, verschiedene Parameter gehören auch zu verschiedenen
Verteilungen.
Also im Binomialfall nochmal war das Theta das p der
Binomialverteilung.
Und wenn ich zum anderen p übergehe, habe ich eine andere
Binomialverteilung.
So muss man das jetzt etwas abstrakter sehen.
Man nennt dann dieses x zusammen mit dieser Familie von
Wahrscheinlichkeitsverteilungen ein statistisches Modell.
Das ist ähnlich wie ein Wahrscheinlichkeitsraum.
Da habe ich eine Grundmenge, die heißt jetzt hier nicht Omega, die
heißt x.
Und da hätte ich aber nur ein Wahrscheinlichkeitsmaß.
Und hier habe ich gleich eine ganze Familie und weiß nicht, was das
Theta ist.
Das ist hier der Unterschied zu dem, was wir vorher hatten.
Im Folgenden wird eben x eine Teilmenge des R auf n sein.
Und dieses klein x, das sind die Daten, können wir ansehen als einen
Vektor von Daten.
Also in der Bernoulli-Kette wären das 0 und 1, n-Tupel.
Und das fassen wir auf als Realisierung eines Zufallsvektors.
Da kommen die großen Buchstaben rein, Groß-X und die Komponenten sind
Groß -X1 bis Groß-Xn.
Man weiß eben vorher nicht, was rauskommt.
Vorher modelliert man den Zufall und hinterher beobachtet man die
Realisierung.
Und dabei mache ich aber eine ganz kanonische Konstruktion.
Wir wissen, dass wir Zufallsvariablen sehr einfach mit Hilfe von
Identitäten konstruieren können.
Also als Omega, wenn man das haben möchte, setze ich einfach x an,
wenn ich im Hintergrund noch ein Omega haben möchte.
Und ich setze einfach x an als Identität auf Omega.
Die ordnet eben einem kleinen x einfach den Wert x zu.
Damit, wenn ich das habe, kann ich schreiben, dieses p-Theta von so
einer ein-elementigen Teilmenge x, also dass sich letztlich x
einstellt unter dem Parameter Theta, die Wahrscheinlichkeit dafür kann
ich auch ansehen als die Wahrscheinlichkeit, dass Groß-X den Wert
klein -x annimmt mit dieser Konvention.
Das heißt, wir werden also beide Schreibweisen in der letzten Zeile
auch in Zukunft dann haben.
Je nachdem, was dann auch bequemer ist.
Ja, ich möchte jetzt definieren, was ein Schätzer ist.
Und Sie sehen dort ein Präfix davor, Punkt.
Das soll andeuten, es gibt auch noch andere Schätzer.
Im nächsten Kapitel werden wir uns beschäftigen mit Schätzern, die
geben gleich ganze Bereiche an.
Also wenn ich das p der Binomialverteilung schätzen möchte, dann gebe
ich nicht nur ein Schätzwert an, sondern ein ganzes Intervall.
Das ist der Unterschied zum Punktschätzer.
Der Punktschätzer liefert einzelne Punkte im Einheitsintervall.
So, was ist das?
Wenn ich so ein statistisches Modell habe, dann sage ich, so ein
Schätzer für Theta, ich werde in Zukunft nur noch kurz Schätzer sagen,
ist eine Abbildung.
So eine Abbildung, was muss die machen?
Was muss ein Schätzer machen?
Wenn ich zum Beispiel das p der Binomialverteilung schätzen will, dann
weiß ich vielleicht, ich darf n Versuche machen, die bei Null die
Kette beobachten.
Zum Beispiel eine verfälschte Münze werfen.
Ich weiß ja nicht, was vorher rauskommt.
Aber ganz egal, welches N-Tupel rauskommt, welches Element sich
einstellt im Stichprobenraum, ich muss immer einen Schätzwert angeben.
Und das ist eine Vorschrift, eine Abbildung.
So, ich muss jedem potenziellen kleinen x im Stichprobenraum einen
Wert zuordnen.
Und diese Zuordnungsvorschrift, die bezeichnen wir als Schätzer.
Und das ist eine Abbildung groß T, die ist definiert auf dem
Stichprobenraum x und ordnet sozusagen dem kleinen x zu einen Wert T
von x.
Und das soll ein Schätzwert sein, also soll dieser Wert in Theta
liegen.
Das heißt, die Abbildung sollte vom Stichprobenraum hineingehen in
Theta.
Jetzt sehen Sie nicht das Theta, Sie sehen hier ein Theta-Schlange.
Was ist das Theta-Schlange?
Wir werden gleich sehen, warum ich das ein bisschen modifiziere.
Ein Theta-Schlange ist eine geeignete Obermenge von Theta.
Sie werden sich jetzt fragen, warum eine Obermenge?
Ich werde das gleich auflösen.
Man nennt T von x den Schätzwert, und zwar den konkreten Schätzwert,
wenn ich kleinen x beobachte, für Theta, und zwar zu x, Element x,
also zu diesem Stichprobenergebnis.
Wir sehen aber, ein Schätzer ist eine Zuordnungsvorschrift.
So, beachte, im Allgemeinen ist das Groß-Theta-gleich-Theta-Schlange,
also keine echte Obermenge.
Aber schon im Binomialfall sieht man, dass man manchmal in eine
Obermenge kommt.
Aus mathematischen Gründen ist manchmal so eine Obermenge nötig, Theta
-Schlange.
Warum?
Beispiel.
Unser Standardbeispiel, der Binomialfall.
Das war Beispiel 21.3.
Da hatten wir ja die relative Trefferhäufigkeit als Schätzer gehabt.
Das ist eine Abbildung, die geht vom Stichprobenraum, in dem Fall
waren das die N-Tupel aus 0 und 1, hinein in das abgeschlossene
Einheitsintervall, in das Matheta-Schlange, wobei der Schätzer so
aussieht, T von x ist nichts anderes als 1 durch n mal Summe xj, wobei
das x eben angibt, den Vektor aus 0 und 1 aus Treffern und Nieten.
Das Entscheidende ist, das ist ein Schätzer, okay, das ist eine
Abbildung, eine Zuordnungsvorschrift, auch im Stichprobenraum, aber in
der Annahme nimmt man meistens an, Theta als offenes Intervall, wenn
man sagt, ich kann aus guten Gründen die Fälle 0 und 1 ausschließen.
Außerdem ist es manchmal auch mathematisch bequem, eine offene
Teilmenge zu haben, denn wenn ich irgendeine Funktion habe, die
differenzierbar ist auf diese offenen Teilmenge, darf ich eben auch
differenzieren, ich brauche mich um Randpunkte nicht zu kümmern.
So, aber jetzt stellen Sie sich vor, die Wahrscheinlichkeit p ist
vielleicht in Wirklichkeit 0,01.
Eine sehr kleine Wahrscheinlichkeit, aber positiv.
Es kann Ihnen passieren, dass Sie 50 Versuche machen, das n wird
festgelegt vorher, 50, Sie beobachten keinen Treffer.
Ihr Schätzwert für das p ist 0.
Es liegt aber nicht in dem angenommenen Parameterbereich, in dem
offenen Intervall, sondern es ist ein Randpunkt.
Sie sehen, das ist ein ganz einfaches Beispiel, das man erkennt, aus
mathematischen Gründen muss man manchmal solche Obermengen zulassen.
Oft sind das einfach nur die Abschlüsse von Intervallen.
Sie sollten sich da gar nicht verwirren lassen.
Das Entscheidende ist letztlich für Sie, ein Schätzer ist eine
Zuordnungsforschung, eine Abbildung auf dem Stichprobenraum und ordnet
Schätzwerte zu.
Ich gebe das nochmal als Memo.
Wir haben so ein statistisches Modell und wir haben so einen Schätzer.
Von x hinein in so eine Obermenge.
Einige allgemeine Bemerkungen dazu.
Ganz allgemein nennt man eine Abbildung, die auf dem Stichprobenraum
definiert ist, eine Stichprobenfunktion.
Das ist nur eine Sprechweise.
Eine Stichprobenfunktion ist eine Abbildung auf dem Stichprobenraum.
Und jetzt kommt es, manchmal wird die auch einfach als Statistik
bezeichnet.
Sie sehen hier, das Wort Statistik ist etwas inflationär gebraucht.
Wir haben es ja über deskriptive Statistik, induktive Statistik, man
hat mit Statistiken auch Intuitivverbindungen, aber manchmal nennt man
einfach so eine Stichprobenfunktion kurz Statistik.
Wir werden später, wenn wir statistische Tests behandeln, werden wir
dann sogar das Präfix Test verwenden, Teststatistik.
Ganz allgemein.
Das heißt, ein Schätzer ist eine Statistik, eine Stichprobenfunktion,
eine Abbildung auf dem Stichprobenraum.
So, nochmal suggestiv, dies wahrscheinlich ganz maßsteuert das
Auftreten von Daten und damit natürlich auch das Auftreten der
Schätzwerte.
Denken Sie an den Binomialfall.
Ich mache meine 50 Versuche, kenne die unbekannte
Trefferwahrscheinlichkeit nicht, nennen Sie jetzt mal Theta.
Das bedeutet, das, was ich erhalte an Realisierungen aus 0 und 1 und
damit vielleicht auch eine Trefferanzahl, hängt ganz stark von dem
Theta ab.
Wenn ich Theta gleich 0,1 setze, haben wir gesehen, wir haben
Stabdiagramme gesehen, auch der Schätzverteilung, dann ist natürlich
der Erwartungswert dieser Verteilung, der Schätzverteilung, liegt bei
0,1.
Wenn das wahre P, also hier das Theta, 0,7 ist, sieht das anders aus.
Wir haben auch gesehen, dass das N eine Rolle spielt.
Je größer das N ist, desto stärker haben sich auch die Verteilungen
der Schätzer konzentriert um die wahren Werte.
Wir hatten die Fälle 10, 20 und 50.
Das heißt, dieses Phänomen sollte man auch immer bedenken.
Das Entscheidende ist, das T müssen Sie hier auffassen, auch als
Zufallsvariable.
Auf dem Stichprobenraum haben wir eine Verteilung, die hängt von Theta
ab.
Und dieses Wahrscheinlichkeitsmaß steuert das Auftreten der Daten, die
wir beobachten und damit auch der Schätzwerte.
Wenn wir das wiederholen, unter gleichen Bedingungen nochmal 50
Versuche mit der gleichen Münze, wird sich ein anderes Tupel
einstellen aus 0 und 1 und damit vielleicht eine andere relative
Trefferhäufigkeit.
Die wird schwanken.
Das muss man sich immer klar machen.
Das T ist eine auf X definierte Zufallsvariable.
Die Werte sind in Theta Schlange.
In dem Sinne ist das zu verstehen.
Und hier sehen Sie, die Wahrscheinlichkeit, wenn Theta der wahre
Parameter ist, dass das T den Wert t annimmt, also ausgeschrieben ist
das, die Wahrscheinlichkeit, wenn Theta der wahre Parameter ist, von
der Menge x, der kleinen x im Stichprobenraum mit der Eigenschaft,
dass T von kleinen x gleich T ist.
Das ist ein Ereignis.
Das definiert die Verteilung des Schätzers unter p Theta.
Also wieder konkreter Fall, Bernoulli-Kette, n gleich 50.
Unser Schätzer ist die relative Trefferhäufigkeit.
Wir wissen, welche Werte diese Zufallsvariable annimmt.
0 durch 50, 1 durch 50, 2 durch 50, 3 durch 50 und so weiter.
Und wenn Theta die wahre Erfolgswahrscheinlichkeit ist, nimmt diese
relative Trefferhäufigkeit den Wert, sagen wir k durch 50, genau dann
an, wenn die Anzahl der Treffer k ist, also die Wahrscheinlichkeit,
dass die relative Trefferhäufigkeit den Wert k durch n annimmt, wenn
Theta der wahre Parameter ist, ist 50 über k mal Theta hoch 50 mal 1
minus Theta hoch 50 minus k.
Eben habe ich, glaube ich, was falsch gesagt.
Also 50 über k mal Theta hoch k mal 1 minus Theta hoch 50 minus k.
Das heißt, das ist die Schätzverteilung, nur allgemein jetzt
hingeschrieben.
Ideal wäre natürlich, dass wir immer das Richtige schätzen.
Das heißt, wenn die wahre Erfolgswahrscheinlichkeit als Beispiel für
die Münze, für die Zahl 0,4 ist, dass wir immer eine relative
Trefferhäufigkeit von 0,4 haben.
Das ist natürlich illusorisch.
Das kann man sich wünschen.
Also ideal wäre, wenn Theta der wahre Parameter ist, dass mit
Wahrscheinlichkeit 1 immer der Schätzer auch diesen Wert liefert.
Das haut nicht hin.
Man kann sich wünschen, dass vielleicht die Wahrscheinlichkeit, wenn
Theta der wahre Wert ist, dass der Schätzwert, der zufällige
Schätzwert t, sich von diesem Theta um höchstens, also betragsmäßig
höchstens Epsilon unterscheidet, groß ist, in der Nähe von 1, für
kleines Epsilon und für jedes Theta.
Das ist ein Wunsch, den man haben kann.
Das bedeutet, die Verteilung dieses Schätzers sollte stark um den
unbekannten Wert konzentriert sein.
Das kann man sich wünschen.
Wir haben auch schon ein Phänomen entdeckt, gerade im Binomialfall.
Je mehr Versuche ich mache, desto stärker konzentriert sich die
relative Trefferhäufigkeit um den wahren Wert.
Das ist ein allgemeines Prinzip.
Das hat was mit der Datenbasis zu tun.
Im Folgenden nehmen wir immer an, dass auf einer abzählbaren
Teilmenge, ich nenne sie mal x0, soll die von Theta unabhängig sein.
Das ist wichtig.
Abzählbare Teilmenge soll gelten, dass diese die Wahrscheinlichkeit 1
hat.
Wir haben sowas schon gehabt.
Denken Sie mal an unser diskretes Verteilungsmodell.
Da haben wir Omega durchaus als überabzählbare Grundmenge zugelassen.
Aber das Wahrscheinlichkeitsmaß war 1 auf einer abzählbaren Teilmenge.
Das war wichtig.
Und hier ist es eben entsprechend x0, sei die abzählbare Teilmenge von
x.
x kann durchaus überabzählbar sein.
Das ist also durchaus zugelassen, ganz allgemein.
Da soll die Wahrscheinlichkeit unabhängig von dem Theta immer 1 sein.
Ich möchte jetzt zwei Dinge definieren, die für Schätzer wichtige
Begriffe sind.
Das eine ist die mittlere quadratische Abweichung.
Die haben wir schon kennengelernt.
Wenn Sie daran denken, an Kapitel 12, da hatten wir Kovarianz gehabt
und Korrelation.
Da kam das schon vor.
Da hatten wir so eine Optimierungsaufgabe.
Denken Sie an das Kapitel über bedingte Erwartungswerte.
Da haben wir auch gesehen, die bedingte Erwartung minimiert so eine
mittlere quadratische Abweichung über alle Schätzfunktionen.
Wenn ich x vorhersagen will durch eine Funktion, eine andere
Zufallswahl, da kam immer vor, mittlere quadratische Abweichung.
So, was ist das?
Ich nehme an, ich habe so einen T, so einen Schätzer.
Und Theta-Schlange sei auf jeden Fall, die Parameter seien
reellwertig.
Theta -Schlange sei Teilmenge von R.
Und jetzt mache ich eine Voraussetzung.
Es gelte, dass der Erwartungswert, wenn Theta der wahre Parameter ist,
von T², T nimmt reelle Werte an, also nimmt auch T² reelle Werte an,
endlich ist.
Da soll ein endlicher Wert rauskommen.
Wie rechne ich das aus?
Nun, ich habe die Summe über alle klein x in dieser abzählbaren
Teilmenge.
Und dort steht dann T² von x oder T von x in Klammern zum Quadrat mal
die Wahrscheinlichkeit unter Theta, dass das Ergebnis x sich
einstellt, also der einelementigen Teilmenge.
Das soll endlich sein.
Sie sehen, das kann eine endliche Summe sein.
Wenn x unendlich ist, dann ist das trivialerweise erfüllt.
Wenn x abzählbar unendlich ist, haben wir eine unendliche Reihe.
Der Grenzwert muss dann existieren.
Das ist eine Voraussetzung, die ich mache.
Das soll gelten für jedes Theta.
Wir sagen, das zweite Moment des Schätzers muss existieren, unter
jedem Parameter.
So, und jetzt kann ich definieren.
Die erste Definition ist die mittlere quadratische Abweichung dieses
Schätzers T an der Stelle Theta.
Sie sehen, das ist eine Funktion von Theta und T ist hier gegeben.
So, was ist das?
Das ist nichts anderes definitionsgemäß als der Erwartungswert, wenn
Theta der wahre Parameter ist, von dieser Differenz T minus Theta im
Klammern zum Quadrat.
Sie sollen...
Ganz klar, wir wollen Theta schätzen.
Idealerweise wäre, wenn wir immer rausbekommen, T von x ist Theta,
aber T ist eine Zufallsvariable.
Das heißt, wir betrachten die Differenz von T zu Theta, die sollte
klein sein, wir quadrieren sie, dadurch werden auch negative
Differenzen dann positiv und davon bilden wir dann den Erwartungswert.
Also ist das nichts anderes als die Summe über diese x und jetzt steht
da T von x minus Theta im Klammern zum Quadrat mal P Theta von x, das
heißt mittlere quadratische Abweichung von T an der Stelle Theta.
Sie sehen, das ist eine Funktion von Theta.
Ideal wäre, wenn das immer Null wäre.
Sie sehen, das T von x minus Theta ist der Schätzfehler, den ich
mache.
T von x schätze ich ja, das ist der konkrete Schätzwert, Theta ist der
wahre Wert, T von x minus Theta ist der Schätzfehler.
Der wird quadriert und dann wird er multipliziert mit der
Wahrscheinlichkeit des Auftretens von x unter Theta und auf die Art
und Weise erhalten wir einen Erwartungswert.
Sie sehen die Analogie, wir hatten vorher für das x Null, wir hatten
eben Omega Null, für das kleinen x haben wir kleinen Omega
geschrieben, also das entspricht genau der Summe über kleinen Omega
aus Omega Null.
Dann haben Sie eben T von Omega minus Theta zum Quadrat mal
Wahrscheinlichkeit unter Theta von Omega.
Ich habe also nur das Omega, was wir früher hatten, durch das x
ersetzt und x Null steht hier für Omega Null.
Ansonsten ist es die gleiche Begriffsbildung.
So, jetzt kommt noch was.
Zweite Definition, Sie sehen hier so ein b, Index T von Theta ist auch
eine Funktion von Theta und zwar ist das nichts anderes als der
Erwartungswert von T, wenn Theta der wahre Parameter ist, minus Theta.
So, wir wissen schon, wie wir den Erwartungswert deuten können.
Der Erwartungswert ist der Schwerpunkt der Schätzverteilung.
Wenn ich also das Stabdiagramm der Verteilung des Schätzers aufmale,
dann ist da, wo ich den Finger drunter halte, wenn die x-Achse
gewichtslos ist, da ist der Erwartungswert, der Schwerpunkt.
Ideal wäre, wenn der Schwerpunkt der wahre Parameter wäre, wenn das
Theta wäre.
Also ideal wäre, wenn die Differenz Null wäre für jedes Theta.
Aber bei manchen Schätzern ist sie nicht Null.
Das heißt, man bildet diese Differenz und die nennt man Verzerrung.
Im Englischen heißt das Bias, im Deutschen hat sich auch schon Bias in
manchen Communities dort eingeschlichen.
Die Verzerrung von T an der Stelle Theta.
Das ist einfach diese Differenz als Funktion von Theta.
Und man nennt einen Schätzer erwartungstreu, wenn diese Differenz
immer Null ist.
Das heißt, B-Index-T von Theta ist identisch Null.
Das bedeutet, falls eben für jedes Theta gilt, der Erwartungswert von
T unter Theta ist Theta.
Wir hatten im Binomialfall schon gesagt, die Eigenschaft, die wir
damals hergeleitet hatten, für die zufällige relative
Trefferhäufigkeit, die werden wir später erwartungstreu nennen.
Und das ist genau dieser Begriff.
Wir haben gesehen, dass die zufällige relative Trefferhäufigkeit ein
erwartungstreuer Schätzer ist für das unbekannte P der
Binomialverteilung.
Das ist jetzt nur die allgemeine Begriffsbildung.
Wir haben zwei Begriffsbildungen, mittlere quadratische Abweichung,
Verzerrung, also drei Begriffsbildungen, und daraus abgeleitet die
Erwartungstreue.
Das ist nochmal das Memo.
So ist die mittlere quadratische Abweichung definiert.
Ich möchte jetzt hier sie sensibilisieren für einzelne Punkte.
Es gibt einen Verschiebungssatz.
Das war in Kapitel 12, das war Eigenschaft 12.4d, glaube ich.
Nach diesem Verschiebungssatz ist die mittlere quadratische
Abweichung, da steht ja oben Erwartungswert, t minus Theta zum
Quadrat.
Das können Sie schreiben als die Varianz, also Varianz von t, wenn
Theta der wahre Parameter ist, plus Erwartungswert von t minus Theta
in Klammern zum Quadrat.
Aber das ist nichts anderes als die Verzerrung zum Quadrat.
Das heißt, die mittlere quadratische Abweichung setzt sich zusammen
aus der Varianz und dem Quadrat der Verzerrung.
Jetzt kann man Folgendes machen.
Ich gebe mir mal ein festes Theta Null her im Parameterraum.
Ich mache jetzt mal einen Schätzer, einen völlig unsinnigen Schätzer,
der macht Folgendes, der sieht sich die Daten gar nicht an und sagt,
ganz egal, was rauskommt, ich sage immer, der Schätzwert ist Theta
Null.
Ist eine Funktion auf dem Stichprobenraum.
Ganz egal, welches klein x beobachtet wird, ich sage immer, T von x
ist Theta Null.
Ist eine Funktion auf dem Stichprobenraum.
Geht in den Parameterbereich, ist nach Definition ein Schätzer.
Das heißt, dieser Schätzer, der also immer ruft, Theta Null kommt
raus, ganz egal, wie die Daten aussehen, der ist eben datenignorant.
Und für den kann ich Folgendes sagen.
Schauen Sie sich mal die Varianz dieses Schätzers an.
Das ist eine Zufallsvariable, die nimmt nur einen einzigen Wert an.
Und wir wissen, Zufallsvariablen, die nur einen einzigen Wert
annehmen, mit Wahrscheinlichkeit 1, haben die Varianz Null.
Dieser Schätzer hat die Varianz Null.
Ganz egal, wie das Theta ist, denn es kommt nur raus, immer der Wert
Theta Null, mit Wahrscheinlichkeit 1.
Und der Erwartungswert von diesem T Null, da T Null nur den Wert Theta
Null annimmt, ist natürlich Theta Null.
Ganz egal, wie das wirkliche Theta aussieht, das ich nicht kenne.
Der Schätzer ignoriert die Daten erst mal.
Und die Verteilung, die nur den Wert Theta Null annimmt, hat den
Erwartungswert Theta Null und hat die Varianz Null.
Das heißt, die mittlere quadratische Abweichung, dort oben sehen Sie
das, da muss ich zur Varianz was addieren.
Nun, die Varianz ist Null, das heißt, ich muss die Verzerrung
addieren.
Nun, Sie sehen, die Verzerrung war aber definiert als Erwartungswert.
Okay, der ist Theta Null minus wahrer Wert, der ist Theta, das
bedeutet es nichts anderes als Theta Null minus Theta in Klammern zum
Quadrat.
Das ist die Verzerrung als Funktion von Theta.
Insbesondere sieht man natürlich, wenn der wahre Wert Theta Null ist,
das weiß ich aber nicht, dann ist dieser Schätzer optimal.
Ich schätze immer richtig.
Aber ansonsten, wenn der wahre Wert davon abweicht, sieht man sofort,
dass die mittlere quadratische Abweichung steigt quadratisch an.
Das heißt, ich kann mal einen Plot machen, wenn ich hier Theta Null
habe, dieser Schätzer T Null, hier wird Theta aufgetragen, sieht dann
eben von der Gestalt her so aus.
Qualitativ ist das eben eine Parabel, die dort aufliegt in Theta Null.
Ich könnte natürlich jetzt irgendeinen anderen Wert nehmen, ich könnte
jetzt auch den Wert Theta 1 nehmen und könnte das Gleiche machen.
Ich nehme einen neuen Schätzer, ich nenne ihn mal T 1, der ist auch
datenignorant und ruft immer nur Theta 1 kommt raus, Theta 1 kommt
raus, das schätze ich.
Völlig datenblind.
Man sieht natürlich, ich kann auch dessen mittlere quadratische
Abweichung auftragen als Funktion von Theta.
Man sieht, es macht wenig Sinn, solche unsinnigen Schätzer zu
betrachten, denn man weiß ja nicht, welches Theta wirklich zugrunde
liegt.
Das heißt, man sollte die Daten sprechen lassen.
Das bedeutet natürlich, wenn ich einen allgemeinen Schätzer, der sich
gegen alles wappnen will, erkennt das Theta eben nicht, dann mit so
einem Vergleich, dann muss der allgemeine natürlich immer schlechter
sein, wenn der wahre Parameter jetzt Theta Null ist, im Vergleich zu
diesem Schätzer, der ruft Theta Null kommt raus.
Dann ist er natürlich besser.
Aber man muss solche extremen Schätze ausschließen.
Und zwar kann man das machen, indem man zum Beispiel sagt, ich
schränke mich ein auf erwartungstreue Schätzer.
Ich betrachte nur erwartungstreue Schätzer.
Und da wird es in vielen Situationen mehrere geben.
Und da muss ich die vielleicht miteinander vergleichen.
Könnte man jetzt dann Überlegungen anstellen, vielleicht nach der
mittleren quadratischen Abweichung.
Aber dann sieht man, für solche Schätzer ist dann die Verzerrung Null.
Und wenn Sie dort bei dem ersten Punkt unter Beachte rechts gucken,
dann wäre die Verzerrung Null bei einem erwartungstreuen Schätzer.
Das heißt, die mittlere quadratische Abweichung wäre die Varianz.
Das heißt, unter erwartungstreuen Schätzern würde man dann die Varianz
vergleichen.
Und würde Schätzer vorziehen, die eine kleinere Varianz haben.
Vielleicht sogar gleichmäßig kleiner über alle Theta.
Sie sehen also, wir haben hier durchaus Gütekriterien für Schätzer.
Das Bild sollte Ihnen zeigen, das ist durchaus zugelassen, aber wenig
sinnvoll.
Hier nochmal das Memo, die mittlere quadratische Abweichung und die
Verzerrung.
Beispiel.
Der Binomialfall ist ein Beispiel, das uns hier durch das Ganze führt.
Wir hatten auch ein Beispiel mit der Qualitätskontrolle, das nehme ich
nachher auch wieder auf.
Aber nochmal der Binomialfall.
Hier ist die Situation, dass die beobachtbaren Zufallsvariablen
unabhängig und jeweils binomialverteilt sind mit 1 und Theta.
Das heißt, xj steht im Modell für Treffer, Wert 1, oder Niete, Null,
wenn im J-Versuch einer Versuchserie der Länge n, die in unabhängiger
Folge unter gleichen Bedingungen stattfindet, ein Treffer sich
einstellt.
Und wenn Theta dann die Erfolgswahrscheinlichkeit ist, haben die
einzelnen xj diese Binomialverteilung mit 1 und Theta.
Hier nehme ich mal an, Theta ist das abgeschlossene Intervall.
Ich lasse auch mal hier 0 und 1 zu.
Und x ist dann dieser Stichprobenraum, das heißt die Menge der
Vektoren der Länge n, klein x heißen die wieder aus 0 und 1.
Und das ist dann unsere konkret berechnete relative Trefferhäufigkeit,
wenn ich Daten habe.
Wenn ich also x beobachte mit den Komponenten x1 bis xn, dann habe ich
hier die konkrete relative Trefferhäufigkeit aus den Daten.
Aber, Sie sehen, ich muss das, wenn ich das studieren will, unter
Qualitätsgesichtspunkten muss ich das als Zufallsvariable auffassen.
Sie sehen, ich habe hier den gleichen Buchstaben Groß tn, Groß tn
steht aber abkürzend für tn und jetzt sehen Sie die Zufallsvariable da
drin.
Das bedeutet, ich muss da oben für die Klein xj die Groß xj einsetzen
und tn als Zufallsvariable auffassen.
Das ist das, was ich vor Durchführung des Experiments habe.
Eine zufällige relative Trefferhäufigkeit.
So, und wir haben gesehen, dass der Erwartungswert von diesem tn
gleich Theta ist.
Der Zufall steckt da drin, die Rechenregel war einfach die 1 durch n
kann ich nach vorne ziehen, Summe kann ich nach vorne ziehen und der
Erwartungswert von so einem Groß xj ist nichts anderes als einmal
Wahrscheinlichkeit und die ist Theta.
Das heißt, wir haben schon gesehen, dass ich hier einen
erwartungstreuen Schätzer erhalte.
Das heißt, die Verzerrung ist Null in diesem Fall.
Ich habe einen erwartungstreuen Schätzer.
Die Varianz haben wir auch schon ausgerechnet.
Die Varianz hängt von Theta ab, aber sie hängt auch von n ab.
Wir haben auch gesehen, bei wachsendem n wird sie kleiner.
Das heißt, das gilt für alle Theta aus Theta.
Später werden wir zum Beispiel noch benutzen, dass ich Theta mal 1
minus Theta unabhängig von Theta durch ein Viertel nach oben
abschätzen kann.
Theta mal 1 minus Theta ist immer kleiner als ein Viertel, wenn Theta
zwischen 0 und 1 variiert.
Das heißt, die mittlere quadratische Abweichung, da der Erwartungswert
gleich Theta ist, die Verzerrung ist also Null, ist nichts anderes als
dieser Ausdruck.
Theta mal 1 minus Theta durch n.
Und Sie sehen sofort, dass die mittlere quadratische Abweichung sofort
abnimmt, wenn Sie n erhöhen, wenn Sie einen höheren Stichprobenumfang
haben, umso besser.
Okay.
Ich möchte jetzt etwas, was wir im Binomial konkret durchgeführt
haben, nämlich das Prinzip der Maximum-Likelihood-Schätzung
allgemeiner vorstellen.
Aber im Grunde ergeben sich jetzt begrifflich keine neuen
Gesichtspunkte mehr.
Das Entscheidende ist, wenn ich so ein statistisches Modell habe und
ich betrachte ein x im Stichprobenraum.
Sie müssen immer sehen, das habe ich beobachtet, das sind meine Daten.
Im Binomialfall vielleicht bei Nullikette der Länge 100.
Ich habe ein ganz konkretes Tupel aus Nullen und Einsen.
Später werde ich mich im Binomialfall nur darauf zurückziehen, wie
viele Einsen sind in dem Tupel.
Aber zunächst mal habe ich das ursprüngliche Tupel aus Nullen und
Einsen.
Das ist das x.
Die Daten sind gegeben.
Was ich jetzt mache, ich betrachte die Daten als fest und variiere den
Parameter Theta.
Ich betrachte eine Funktion L.
L wird stehen für Likelihood.
Im Englischen auch Wahrscheinlichkeit.
Das x ist dran als Index.
Für jedes x habe ich also eine andere Funktion.
Diese Funktion ist definiert auf Theta.
Sie geht in das Einheitsintervall.
Dem Theta wird zugeordnet nichts anderes als Lx von Theta.
Das ist definiert als die Wahrscheinlichkeit, wenn Theta der wahre
Parameter ist, dass sich das x einstellt.
Dass also die Zufallsvariable oder Zufallsvektor, der Länge N, denken
Sie an die Bernoulli-Kette, x liefert.
Im Binomialfall haben wir das schon gehabt.
Wenn ich dort ein ganz konkretes N-Tupel habe aus Nullen und Einsen,
immer wenn ich eine 1 habe im Tupel, die Wahrscheinlichkeit ist Theta.
Wenn ich eine 0 habe, ist 1-Theta.
Das heißt, wenn so ein Tupel beginnt mit 1, 1, 0, 0, 0, ist es Theta
mal Theta mal 1-Theta mal 1-Theta mal 1-Theta.
Und am Ende sieht man, ich habe ein Theta hoch K mal 1-Theta hoch N-K,
wobei K genau die Anzahl der Einsen ist.
Das war unsere Likelihood-Funktion im Binomialfall.
Das ist jetzt nur allgemein hingeschrieben.
Das heißt, Likelihood-Funktion, und zwar für Theta, zur Beobachtung
Groß -x gleich Klein-x.
Also nochmal diese Sichtweise.
Verinnerlichen Sie das.
Daten sind fest.
Ich variiere die Modelle in Form von Theta und betrachte die
Wahrscheinlichkeit des Auftretens dieser konkreten Daten als Funktion
von Theta.
Ich kenne Theta nicht in der Statistik.
So, jetzt versuche ich das zu maximieren.
Existiert ein Theta-Dach, was von x abhängt in Theta.
Eventuell in der Obermenge.
Denken Sie an solche Randpunkte, wenn ich vielleicht ein offenes
Intervall hervorgenommen habe.
Jetzt kommt die Eigenschaft mit der Eigenschaft, dass die Likelihood
-Funktion an dieser Stelle maximiert wird.
Also ich schreibe Supremum über alle Theta aus Theta, Lx von Theta.
So nennt man dieses Theta-Dach von x den Maximum-Likelihood
-Schätzwert, oder kurz ML-Schätzwert für Theta zu x.
Sie sehen, dort steckt eine Maximierungsaufgabe hinter.
Wie immer man das konkret macht, da gibt es Methoden der Analyse, aber
manchmal besteht der Raum Theta nur aus endlich vielen Werten, sodass
man sich andere Herangehensweisen überlegen muss.
Wir werden gleich ein Beispiel machen.
Also das heißt erstmal so, Maximum-Likelihood und ein Schätzer, Sie
sehen jetzt wieder die Zuordnungsvorschrift auf Theta-Dach, der auf x
definiert ist, in die Menge Theta-Schlange geht mit dieser Eigenschaft
21,2 für jedes x aus X heißt Maximum-Likelihood-Schätzer, oder kurz ML
-Schätzer für Theta.
Also Sie sehen, das Theta-Dach ist dann die Vorschrift.
Wenn ich ein konkretes x habe, dann muss ich natürlich in der Lage
sein zu maximieren und das Theta-Dach von x auszurechnen, aber das
muss ich für jedes x machen und damit habe ich natürlich auch eine
Funktion als Funktion dieser x.
Und diese Funktion heißt Groß-Theta-Dach.
Das ist die übliche Bezeichnung für einen Maximum-Likelihood-Schätzer.
Sie sehen, wir müssen so flexibel sein, allgemein haben wir T gesagt
und jetzt sagen wir hier Theta-Dach.
Das ist einfach nur eine Bezeichnung für Maximum-Likelihood-Schätzer.
Es kann also nicht lange dauern bis zum nächsten Beispiel.
Das soll man immer illustrieren.
Also das ist die Fortsetzung von Beispiel 21.4.
Was war das?
Wir werden das gleich sehen.
Dieser stichproben Raum sind wieder die Menge der N-Tupel aus 0 und 1.
Und da war Theta eine diskrete Menge.
Sie sehen 0, 1 bis N.
Was stand dahinter?
Das war die Situation der Qualitätskontrolle.
Ich erhalte vielleicht eine große Kiste mit irgendwelchen kleinen
Teilen, groß N, sagen wir 10.000.
Und es ist nicht garantiert, dass jedes Teil, das irgendwo eingesetzt
werden muss, funktioniert.
Es gibt also Defekte und es gibt Intakte.
Die Anzahl der Defekten ist eben Theta und das kenne ich nicht.
Theoretisch ist möglich kein Defekt, das ist Theta gleich 0, Theta
gleich 1 oder jedes ist Defekt.
Was wir dann gemacht haben, ist, wir haben eine Stichprobe gezogen,
haben also aus allen groß N, klein N ausgewählt, eventuell mit einem
Griff oder nacheinander, ohne zurücklegen.
Stochastisch kommt das aufs Gleiche raus.
Und haben dann in dieser Stichprobe gezählt, wie viele defekte
Exemplare habe ich.
Wenn Sie die defekten Exemplare als rote Kugeln deuten und die anderen
als schwarze Kugeln in einer Urne und wenn Sie N mal reingreifen, ohne
zurücklegen, rein zufällig, dann ist die Anzahl der defekten Exemplare
hypergeometrisch verteilt, das wissen wir.
Die Parameter sind die Anzahl der Ziehungen, das ist klein N, wird das
hier sein, und die Zahl der roten Kugeln kommt dann und die Zahl der
schwarzen Kugeln.
Die Zahl der roten Kugeln ist hier Theta und die Zahl der schwarzen
Kugeln ist groß N minus Theta.
Das heißt, das fügt sich einem Uhrenmodell ein oder ordnet sich dem
unter.
Groß X ist der Vektor aus groß X1 bis groß XN und klein X ist der
Vektor aus klein X1 bis klein XN und das XJ, das Groß-XJ, hatten wir
eben als Zufallsvariable angesehen, demodelliert, dass das J
entnommene Exemplar defekt ist, dann wird der Wert 1 angenommen,
ansonsten 0, dann ist es intakt.
Also Indikator für fehlerhaft.
Die Likelihood-Funktion hatten wir auch schon hergeleitet, die sieht
so aus.
Die Wahrscheinlichkeit, wenn Theta der wahre Parameter ist, dass sich
dann so ein Vektor X einstellt, sieht so aus.
Wir sehen nochmal dieses Theta, oben K unterstrichen, heißt eben
gerade, fange an mit Theta und dann bilde absteigende Faktoren, bis du
K -Faktoren hast.
Das endet dann bei Theta minus K plus 1.
Entsprechend die Bildung bei N minus K.
N minus K, absteigende Faktoren, beginnend mit N minus Theta und dem
Nenner genauso.
Und K ist in dem Fall nichts anderes als die Anzahl der Einsen im
Tupel.
Also wenn Sie so wollen, ist das die Anzahl der defekten Exemplare in
der Stichprobe vom Umfang N.
Das heißt, die Likelihood-Funktion hängt über ein konkretes Tupel aus
Einsen und Nullen, nur von der Anzahl der Einsen ab, macht also nur
davon Gebrauch von dieser Information.
Gar nicht, wo die Einsen stehen im Tupel, sondern nur von der Anzahl.
Welche Gestalt besitzt der Maximum-Likelihood-Schätzer?
Den wollen wir jetzt mal herleiten, wie der aussieht in dem Fall.
Wir müssen gleich diese Funktion maximieren bezüglich Theta.
Und Sie sehen, Sie können hier nicht differenzieren, denn Theta nimmt
nur endlich viele Werte an, von Null bis N.
Haben Sie immer 10.000 im Hinterkopf für N.
Große Zahl.
Theoretisch können Sie natürlich auch das eingeben im Computer und
können ihn durchlaufen lassen, von Null bis 10.000.
Und den größten Wert suchen Sie sich aus.
Aber hier kann man es auch explizit hinschreiben, was rauskommt.
Zunächst mal wollen wir den gesunden Menschenverstand einsetzen.
Stellen Sie sich vor, die Kiste, wissen Sie, hat 10.000 Einzelteile.
10.000 Kleinteile sind da drin.
Jetzt ziehen Sie eine Stichprobe vom Umfang 100 und Sie haben dort 3
defekte Exemplare.
Jetzt sollen Sie hochrechnen, wie viele defekte Exemplare sind in der
ganzen Kiste.
Und dann werden Sie sagen, wenn ich 3 finde unter 100, ich rechne das
einfach mal hoch, dann finde ich 30 unter 1.000, dann finde ich 300
unter 10.000.
Erstmal ein ganz naiver Schätzwert.
Natürlich muss das nicht stimmen.
Aber wenn ich die 3% in der Stichprobe habe, 3 von 100, dann sage ich,
ich habe auch 3% in der gesamten Sendung und das sind 300.
Das wäre der naive Schätzwert.
Das heißt, wenn das K, die Anzahl der defekten Exemplare ist in der
Stichprobe, n ist der Stichprobenumfang, ist das der relative Anteil
der defekten in der Stichprobe.
Dann würden Sie sagen, okay, das soll auch ungefähr der relative
Anteil der defekten in der ganzen Sendung sein.
Theta sind defekt, insgesamt habe ich N, also das müsste gelten und
das löse ich jetzt mal nach Theta auf.
Das heißt, ich muss mit N hochmultiplizieren, der Schätzwert wäre eben
Theta -Stern und da kommt vielleicht keine ganze Zahl raus, also gehe
ich mit der Gauss-Klammer mit der unteren zunächst kleineren ganzen
Zahl über.
Das wäre ein naiver Schätzwert.
Jetzt wollen wir sehen, was kommt bei der Maximum-Likelihood-Schätzung
raus.
Wir werden sehen, dass bei der Maximum-Likelihood-Schätzung
sehr oft das wirklich rauskommt und manchmal kommt was anderes raus,
aber das kann sich höchstens um eins unterscheiden von dem, was hier
steht.
Insofern ist diese naive Schätzung wirklich sehr gut.
Wir bilden mal den Spezialfall.
Erst mal K gleich Null.
Stellen Sie sich vor, Sie haben kein defektes Exemplar.
Dann nimmt die Likelihood-Funktion diese Gestalt an.
Sie sehen natürlich, wenn Sie das jetzt variieren, sondern Sie wollen
das maximieren.
Schauen Sie sich das an, dann können Sie Theta gleich Null wählen.
Und das führt auch zum Maximum.
Und das bedeutet, Theta Dach von K wäre dann gleich Null.
Und wenn Sie dort oben sich in der Formel ansehen, was Theta Stern ist
und setzen K gleich Null, dann steht da N mal Null ist Null, Null
durch N ist Null, Gauss-Klammer von Null ist Null.
Das heißt, da kommt das Gleiche raus.
Das heißt, wenn Sie kein defektes Exemplar in der Stichprobe haben,
sind der Maximum Likelihood-Schätzwert und oben dieser naive
Schätzwert gleich.
Zweiter Fall, Extremfall.
Sie haben nur defekte Exemplare in der Stichprobe, nur.
Dann sieht die Likelihood-Funktion so aus.
Sie sollen das maximieren als Funktion von Theta.
Sie sehen sich an, das Theta steht da im Zähler.
Das wird maximal, wenn Sie den größtmöglichen Wert für Theta
einsetzen, den Sie einsetzen können, und das ist N.
Das bedeutet, in dem Fall ist der Schätzwert N.
Und wenn Sie jetzt das wieder vergleichen mit dem, was wir haben mit
dem Theta-Stern, das ist auch Theta-Stern von K.
Dritter Fall, der ist natürlich jetzt interessant.
Das heißt, jetzt ist K zwischen 1 und N-1.
Jetzt wird es interessanter, weil wir dort oben so ein Produkt haben,
Theta, und dann oben irgendwelche absteigenden Faktoren und N minus
Theta, und Sie haben auf jeden Fall sowohl in dem einen Faktor, der
existiert, und auch der andere.
Das ist jetzt komplizierter.
Wie kann man hier maximieren?
Hier ist folgende Vorgehensweise manchmal.
Sie betrachten einfach den Quotienten der Likelihood-Funktion für zwei
direkt aufeinanderfolgende Thetas.
Solange dieser Quotient ansteigt, wird die Likelihood-Funktion größer
und irgendwann fällt er vielleicht mal wieder ab.
Ich betrachte das hier.
Das kann man jetzt konkret ausrechnen.
Das heißt, konkret eingesetzt ergibt sich das.
Und hier kann ich jetzt kürzen.
Sie sehen z.B.
das N, Groß-N, und dann diese Klein-N absteigenden Faktoren.
Die tauchen einmal im Zähler, einmal im Nenner auf.
Die kann ich also wegkürzen.
Und dann habe ich hier oben steht Theta plus 1 und K absteigende
Faktoren.
Das ist ja Theta plus 1 mal Theta mal Theta minus 1 usw.
Im Nenner stehen sie Theta K absteigende Faktoren.
Das ist Theta mal Theta minus 1 usw.
Sie können also einige Dinge wegkürzen.
Und da kommt dann Folgendes raus, wenn Sie weggekürzt haben.
Also das möchte ich hier nicht vorrechnen.
Das ist jetzt schon recht überschaubar.
Und wir vergleichen einfach jetzt diesen Quotienten mit der 1.
Wir sehen uns an, wann ist das größer als 1?
Werden wir genau dann, wenn Beziehung herleiten?
Und wann ist es gleich 1?
Das heißt, dann würde sich nichts ändern, wenn ich von Theta zu Theta
plus 1 übergehe.
So und hier kommt dann Folgendes raus, wenn man jetzt rechnet, direkte
Rechnung liefert.
Der Quotient ist genau dann größer als 1, wenn Theta kleiner ist als
dieser Ausdruck rechts.
Also Sie sehen der Bruch K mal N plus 1 in Klammern dividiert durch N
minus 1.
Genau dann ist er größer als 1.
Das heißt, auf der anderen Seite ist er dann kleiner gleich 1, wenn
Theta größer gleich diesem Ausdruck ist.
So, es kann auch noch gleich 1 sein, das ist genau dann der Fall, wenn
Theta gleich diesem Wert ist.
Das kann natürlich nur dann passieren, wenn der Wert rechts vom
Gleichheitszeichen auch eine ganze Zahl ist.
Sonst kann dies hier nicht eintreten.
Hieran kann man aber jetzt sofort den Maximum-Likelihood-Schätzer
ablesen.
Also, sehen wir uns das an.
Stellen Sie sich vor, hier ist Theta, hier ist Theta plus 1, da hinten
ist Theta plus 2, das notiere ich aber jetzt nicht mehr.
Und jetzt stellen Sie sich vor, was hier wichtig ist, auf der rechten
Seite, dies K mal N plus 1 dividiert durch N minus 1, ist keine ganze
Zahl.
Das will ich hiermit nur andeuten, es ist keine ganze Zahl.
Wir machen zwei Fälle.
Sehen Sie oben, der Likelihood-Quotient wird strikt größer, in diesem
Fall, wenn ich von Theta zu Theta plus 1 übergehe.
Das bedeutet, Sie sehen, da ist eben dann 1 addiert, das heißt, das
ist K mal N plus 1 durch N.
Das heißt, der Likelihood-Quotient wird strikt größer, das heißt, an
der Stelle Theta plus 1 ist er wirklich größer geworden.
Das ist eben hier das Entscheidende gegenüber dem Vorher.
Aber danach, aufgrund der Genau-Dann-Wenn-Beziehung, wird es nicht
mehr größer.
Das Entscheidende ist, ich kann hier sofort ablesen, in diesem Fall
ist Theta-Dach von K nichts anderes als dieses K mal N plus 1, was Sie
hier sehen, und dann die Gauss-Klammer, das heißt, Sie kommen dann zu
Theta plus 1 runter.
Das wäre hier dann der Wert, und zwar in dem Fall, wenn K mal N plus 1
durch N keine natürliche Zahl ist.
Dann bekommen wir das raus.
Und wenn es eine natürliche Zahl ist, dann stellt sich die Situation
so dar.
Sie sehen, das ist jetzt die gleiche Situation.
Jetzt ist eben K mal N plus 1 dividiert durch kleine minus 1 eine
ganze Zahl.
Das heißt, Sie sehen, jetzt variieren Sie das Theta.
Und jetzt schauen Sie oben in die zweite Zeile.
Der Likelihood-Quotient ändert sich nicht für dieses Theta, wenn Sie
Theta um 1 erhöhen.
Das bedeutet, die Likelihood-Funktion bleibt konstant, wenn ich von
Theta zu Theta plus 1 übergehe.
Danach wird sie aber wieder kleiner aufgrund der Genau-Dann-Wenn
-Beziehung.
Das heißt, ich habe jetzt hier sogar zwei Möglichkeiten für einen
Maximum -Likelihood-Schätzwert.
Entweder ich nehme diesen Wert jetzt, oder ich gehe noch einen hoch.
Das bedeutet, ich nehme dann diesen.
Beide sind möglich.
Das heißt, der Maximum-Likelihood-Schätzwert ist Element.
Entweder es ist k mal n plus 1 durch n oder das gleiche minus 1.
Sonst heißt, wenn es eine natürliche Zahl ist.
Das heißt, aufgrund dieser Quotienten-Betrachtung können wir relativ
schnell sehen, was hier der Maximum-Likelihood-Schätzer ist, wie er
aussieht.
Von dem zweiten könnte ich mir einen Wert aussuchen.
Ich kann z.B.
sagen, Theta-Dach von k definiere ich als untere Gauss-Klammer von k
mal n plus 1 durch n.
Sie sehen, das stimmt in dem ersten Fall genau mit dem überein.
Und im zweiten Fall gehe ich eben, da habe ich gar keine Gauss
-Klammer, weil ich eine natürliche Zahl habe, nehme ich aus der Menge
der beiden Werte den linken.
Auf jeden Fall habe ich hier einen Maximum-Likelihood-Schätzwert
erhalten.
So, und der ist gar nicht so weit weg von dem, was wir vorher hatten,
vom naiven Schätzwert, nämlich Theta-Stern von k.
Was war das?
Das war dieses n mal k durch n.
Und wenn Sie das mit dem vergleichen, da steht ja, dass n ist durch n
plus 1 ersetzt.
Das heißt, das ist nach oben abschätzbar dadurch.
Und das ist Theta-Dach von k.
Das heißt, Theta-Dach von k ist immer größer oder gleich Theta-Stern
von k.
Aber Sie überlegen sich auch sehr schnell, dass es nur um höchstens 1
größer sein kann.
Das ist kleiner gleich Theta-Stern von k plus 1.
Das bedeutet, ganz egal, wie groß das n ist, unsere naive Hochrechnung
stimmt in sehr vielen Fällen mit diesem Maximum Likelihood-Schätzwert
überein.
Ansonsten kann es sich höchstens um 1 unterscheiden.
Wir sehen also hier Maximum Likelihood-Schätzung auch mal in einem
Fall, wo Sie nicht mit Mitteln der Analysis überdifferenzieren, erste
Ableitung null setzen, dann Maximum Likelihood-Schätzung machen
können.
Okay.
Sie sehen hier einen neuen Begriff, Log-Likelihood-Funktion.
Das spricht eigentlich für sich selbst.
Ich bilde den Logarithmus der Likelihood-Funktion.
Warum mache ich das?
Also für so einen kleinen x, die durch den Theta wird abgebildet.
Ich nehme einen kleinen Theta und ordne jetzt den Logarithmus der
Likelihood -Funktion zu.
Das können Sie natürlich nur machen, für die Werte, für die Lx von
Theta positiv ist.
Diesen natürlichen Logarithmus und diese Funktion heißt Log-Likelihood
-Funktion zu x.
Warum macht man das?
Warum bildet man manchmal diese Log-Likelihood-Funktion?
Ganz einfach, die Maxima, die angenommen werden von der Likelihood
-Funktion und der Log-Likelihood-Funktion, die unterscheiden sich
zwar, die Werte, aber sie werden an den gleichen Stellen angenommen,
weil der Logarithmus eine streng monoton wachsende Funktion ist.
Das heißt, ich suche ja das Theta, für das die Likelihood-Funktion
maximal wird und ich kann dafür auch die Log-Likelihood-Funktion
nehmen.
Das ist ganz egal.
Das heißt, vorteilhaft ist das Ganze, wenn Theta ein Intervall ist und
die Likelihood-Funktion differenzierbar ist.
Nämlich, wenn sich x wieder so darstellt, als Zufallsvektor mit
Komponenten x1 bis xn und wenn die 1, x1 bis xn stochastisch
unabhängig sind.
Denken Sie an den Binomialfall.
Da waren das eben gerade die Indikatoren Trephonite in n Experimenten.
Stochastische Unabhängigkeit.
Dann kommt nämlich Folgendes bei der Unabhängigkeit.
Die Likelihood-Funktion, L-Index x von Theta, x ist jetzt eine
Realisierung von x, mit den Komponenten x1 bis xn, ist nichts anderes
nach Definition erst mal als diese Wahrscheinlichkeit und diese
Wahrscheinlichkeit ist wegen der Unabhängigkeit erstmal ist es diese
Wahrscheinlichkeit, dass Groß x1 den Wert Klein x1 annimmt und so
weiter, Groß xn den Wert Klein xn und wegen der Unabhängigkeit ist es
das Produkt der einzelnen Wahrscheinlichkeiten.
Das heißt, die Likelihood-Funktion stellt sich als Produkt dar.
Wenn Sie jetzt über Differenzieren das Maximum erhalten wollen,
Ableitung Null setzen, dann wissen Sie, Sie kennen zwar eine Regel,
wie man Produkte ableitet, aber Summen lassen sich leichter ableiten.
Wir bilden jetzt mal die Log-Likelihood-Funktion, dann wird nämlich
aus dem Produkt eine Summe.
Das heißt, ich erhalte Summe der einzelnen Logarithmen.
Und das kann ich jetzt leichter differenzieren, denn die Summe ist,
ich kann die Summe vorziehen, ich muss dann nur immer differenzieren
den Logarithmus von Theta.
Wir werden das gleich am Beispiel sehen.
Das Entscheidende ist, die Summe ist meist leichter zu differenzieren
als das Produkt und die notwendige Bedingung für ein Maximum ist ja
Ableitung Null setzen.
Aus dem Grunde ist es manchmal sinnvoll, gerade bei unabhängigen
Zufallsvariablen, wo ich dann Produkte habe zu logarithmieren, dann
habe ich Summen und dann kann ich leichter differenzieren.
Wir machen das mal an einem Beispiel.
Das ist die Maximum-Leibnod-Schätzung bei der geometrischen
Verteilung.
Das ist eigentlich eine ganz interessante Situation.
In dem Fall habe ich unabhängige Zufallsvariablen und es sind sie je
geometrisch verteilt mit Parameter Theta.
Und Theta ist hier das offene Intervall von 0 bis 1.
Sie sollten sich erinnern, in welchem Zusammenhang die geometrische
Verteilung auftrat.
Stichwort Bernoulli-Kette.
Trefferwahrscheinlichkeit Theta.
Ich warte auf den ersten Treffer und zähle die Zahl der Nieten vor dem
ersten Treffer.
Diese Zufallsvariable hat eine geometrische Verteilung, die bezeichnet
wird mit Groß-G von Theta.
Stellen Sie sich Folgendes vor, Sie haben eine Münze verfälscht und
kennen die Erfolgswahrscheinlichkeit nicht, sondern die
Wahrscheinlichkeit für Zahl.
Und Sie werfen die Münze so lange, bis zum ersten Mal Zahl auftritt.
Sie beobachten drei Nieten, bevor Sie zum ersten Mal Zahl werfen.
Dann wiederholen Sie das.
Dann beobachten Sie vielleicht zwei Nieten, bevor Sie das erste Mal
Zahl werfen.
Dann beobachten Sie fünf Nieten, bevor Sie das erste Mal Zahl werfen.
Die Frage ist, können Sie aus diesen beobachtenden Anzahlen der
Nieten, bevor der erste Treffer kommt, die Trefferwahrscheinlichkeit
schätzen?
Wir haben hier eine ganz andere Situation.
Vorher war immer die Situation, ich weiß, ich mache genau N Versuche,
und dann bilde ich die relative Trefferhäufigkeit.
Aber jetzt haben Sie vielleicht andere Daten.
Also nochmal, Sie beobachten N-mal in unabhängiger Folge die Zahl der
Nieten vor dem ersten Treffer.
Das ist genau diese Situation.
Die Aufgabe ist, bitte schätzen Sie Theta aufgrund von diesen
Nietenanzahlen vor dem ersten Treffer.
Wichtig ist erstmal, dass die Aufgabe klar ist.
Jetzt haben wir konkrete Nietenzahlen, x1 bis xn, nicht negative ganze
Zahlen, die haben wir beobachtet.
Und x sei dieser Vektor, dieses Tupel, und x ist entsprechend der
Vektor aus x1 bis xn.
Und wir schreiben erstmal die Likelihood-Funktion auf.
Wie sieht die aus?
Nun, das ist die Wahrscheinlichkeit, wenn Theta die wahre
Erfolgswahrscheinlichkeit ist, dass sich dieser Vektor einstellt.
Also x gleich x.
Und jetzt kommt die Unabhängigkeit.
Die Unabhängigkeit heißt, das ist ein Produkt der einzelnen
Wahrscheinlichkeiten.
So, was ist jetzt die Wahrscheinlichkeit?
Groß xj gleich klein xj heißt, genau klein xj Nieten vor dem ersten
Treffer.
Das heißt, erster Versuch Niete, zweiter Versuch Niete usw., der xj
-Versuch auch noch Niete und dann Treffer.
Niete ist immer 1 minus Theta die Wahrscheinlichkeit, wie oft sollte
die auftreten?
xj mal.
Also 1 minus Theta hoch xj mal.
Und jetzt kommt der Treffer.
Mal Theta.
So, das bedeutet, diese Wahrscheinlichkeiten sehen so aus.
1 minus Theta hoch xj mal Theta.
Sie sehen, das kann ich jetzt schreiben.
Ich habe hier ein Produkt N-Faktoren, da steht immer das Theta drin,
ich kann Theta hoch N ausklammern.
Und dann steht da noch Produkt 1 minus Theta hoch xj, das ist das
gleiche wie 1 minus Theta hoch Summe xj.
Das heißt, das ist die Leichtdurchfunktion.
Auf die muss man natürlich erst mal kommen.
Die haben wir jetzt.
Die soll maximiert werden bezüglich Theta.
So, was wir jetzt machen, wir logarithmieren sie.
Jetzt wird es einfach.
Theta hoch N, davon der Logarithmus ist N mal Log Theta und dann haben
wir noch Plus, der Logarithmus von dem zweiten Faktor, das ist x1 plus
xn mal Log 1 minus Theta, das heißt Summe xj mal Log 1 minus Theta.
Das ist natürlich jetzt wunderschön.
Ich kann das mal nach Theta differenzieren.
Ich mache das mal.
Das heißt, die Ableitung liefert mir, Log heißt 1 durch Theta, ich
differenziere N durch Theta und dann habe ich nochmal Log von 1 minus
Theta liefert mir 1 durch 1 minus Theta, nochmal die innere Ableitung
minus 1.
Ich bekomme noch ein Minuszeichen.
Minus 1 durch 1 minus Theta mal Summe xj.
Das ist der Logarithmus der Likelihood-Funktion, und zwar schon
abgeleitet.
Und diese Ableitung muss sich Null setzen.
Und dann kann ich nach Theta auflösen.
Sie sehen, kann dann hochmultiplizieren, kann nach Theta auflösen und
ich erhalte folgendes.
Thetadach von x, das wäre der Maximum-Likelihood-Schätzwert, ist
nichts anderes als 1 dividiert durch 1 plus und hier steht das
arithmetische Mittel dieser Nietenanzahlen.
Arithmetisches Mittel der Nietenanzahlen.
Das wäre der Maximum-Likelihood-Schätzwert.
Die Frage ist, ob Sie das vorher hätten ahnen können.
Das ist immer so die Intuition.
Das ist einfach so ein Punkt, das man hier auch mittelt.
Aber wir haben hier die Bildung 1 durch 1 plus.
Wir werden auch gleich sehen, dass das sinnvoll ist.
Erstmal sollte man erkennen, es liegt wirklich ein Maximum vor.
Sie brauchen hier gar keine zweite Ableitung bilden.
Lassen Sie mal Theta ganz klein werden, Theta gegen 0 gehen.
Dann sehen Sie, das erste ist N durch Theta.
Das wird ganz, ganz groß.
Und beim zweiten, wenn Sie Theta gegen 0 gehen lassen, dann wird eben
was abgezogen, Minus Omega.
Auf jeden Fall für kleines Theta ist die Ableitung positiv.
Das heißt, die Funktion wächst.
Irgendwann wird sie 0, die Ableitung wird immer kleiner und dann wird
sie negativ.
Es muss ein Maximum vorliegen.
Sie brauchen keine zweite Ableitung bilden.
Das heißt, der ML-Schätzer für Theta ist Theta n-Dach und Theta n-Dach
ist das.
Jetzt setze ich nur Großbuchstaben ein und x groß x n quer ist 1 durch
n mal Sum xj.
Das ist jetzt die Schätzvorschrift.
Das heißt, Theta n-Dach als Zufallsvariable aufgefasst ist nichts
anderes als direkt eine Funktion des arithmetischen Mittels, nämlich 1
durch 1 plus x n quer.
Das kommt raus.
Wenn Sie die Erfolgswahrscheinlichkeit so schätzen müssten.
So, ich möchte jetzt abschließend in diesem Kapitel Begriffe
einführen, die damit zu tun haben, dass wir die Datenbasis manchmal
verändern können.
Also denken Sie an die Bernoulli-Kette immer im Hinterkopf.
Wir können vielleicht mit dem n spielen.
Wir beobachten eine Bernoulli-Kette der Länge n und ich habe
vielleicht noch ein bisschen mehr Zeit und Geld und kann auch noch
weitere Versuche machen.
Das heißt, ich habe zu jedem n eine zufällige relative
Trefferhäufigkeit.
Die nenne ich jetzt tn.
Das heißt, ich habe eine Folge von Schätzern.
Und dann lasse ich mal n gegen unendlich gehen und gucke mir
wünschenswerte Eigenschaften an von so einer Schätzfolge.
Das heißt, hier mache ich die Voraussetzung x1, x2 seien unabhängige
und identisch verteilte Zufallsvariablen und immer eine Verteilung,
die von Theta abhängt.
Im Binomialfall wäre xj 1 oder 0, falls Treffer oder Niete im
Jottenversuch und die Verteilung wäre binomialverteilt mit 1 und
Theta.
Immer das im Hintergrund haben.
So, wenn jetzt das x der Stichprobenraum ist für jedes einzelne xj,
jetzt verwende ich eben eine etwas andere Bezeichnungsweise als
vorher, so nenne ich jetzt das n-fache kathesische Produkt.
Das ist nämlich jetzt der Stichprobenraum dann für so einen Vektor.
Teilmenge des R auf n, das ist jetzt der Stichprobenraum für x1 bis
xn.
Sie sehen, dort oben habe ich jetzt ein n dran geschrieben, das n
-fache kathesische Produkt.
Wenn ich für jedes n einen Schätzer habe, ich nenne ihn jetzt tn, ich
deute jetzt das n an, wir lassen gleich n laufen, der dann definiert
ist auf diesem xn und eventuell eine Obermenge geht, wie gehabt, der
Unterschied zu früher ist nur, dass ich jetzt hier ein n gleich
variieren möchte.
So nennt man diese Folge tn eine Schätzfolge.
Schätzfolge für Theta.
Das Entscheidende ist, dass tn, fassen wir hier wieder auf, als
Funktion der ersten xn, von x1 bis xn, ist eben eine Zufallsvariable.
Das ist hier der entscheidende Punkt.
Vorher stand dann festes d, jetzt steht dann nur tn.
Wir sehen dort in dem Vorspann habe ich eben, zumindest in der
Theorie, beliebig viele unabhängige Zufallsvariable.
So eine Schätzfolge, die hat jetzt, kann folgende Eigenschaften haben.
Sie kann erstmal asymptotisch erwartungstreu sein.
So was mag das heißen?
Es kann sein, dass so eine Schätzfolge, dass so ein konkreter Schätzer
kann erwartungstreu sein oder auch nicht.
Aber da habe ich ein ganz konkretes n.
Es kann jetzt sein, dass eine Erwartungstreue erst im Limes erreicht
wird, für n gegen unendlich.
Dann nennt man das asymptotisch Erwartungstreue.
Das bedeutet, falls gilt, im Limes für n gegen unendlich, ist der
Erwartungswert unter Theta von tn gleich Theta.
Und zwar soll das gelten für jedes Theta aus Theta.
Das ist hier eine Grenzwertbetrachtung.
Zum Beispiel stellen Sie sich vor, der Erwartungswert unter Theta von
tn ist Theta plus, von mir aus, Theta mal Klammer auf 1 plus 1 durch
n.
Könnte passieren, dass der Erwartungswert ein bisschen größer ist.
Theta mal Klammer auf 1 plus 1 durch n.
Lassen Sie n gegen unendlich gehen.
Im Limes steht da Theta mal 1.
Erwartungstreu.
Konsistent.
Die Eigenschaft haben wir auch schon gehabt, ohne dass wir sie so
genannt haben.
Konsistent heißt, falls Folgendes gilt, im Limes ist die
Wahrscheinlichkeit, wenn Theta der wahre Parameter ist, dass sich der
zufällige Schätzwert tn vom wahren Wert Theta betragsmäßig um
mindestens Epsilon unterscheidet, ist im Limes 0 für jedes noch so
kleine positive Epsilon.
Das sollte Sie erinnern an stochastische Konvergenz.
Wir hatten so einen Begriff gehabt, stochastische Konvergenz, im
Zusammenhang mit dem schwachen Gesetz der großen Zahlen.
Also das ist die Konsistenz und beachten Sie, diese Konsistenz heißt
nichts anderes als nach Definition, tn konvergiert stochastisch, wenn
Theta der wahre Parameter ist, gegen diesen wahren Parameter, ganz
egal, welcher Parameter zugrunde liegt.
Für jedes Theta.
Wir kennen Theta nicht.
Das ist immer die Sichtweise der Statistik, aber ich nehme an, ich
habe ein beliebiges Theta und unter dem kann ich rechnen jetzt.
Und für jedes Theta soll diese stochastische Konvergenz in dem Sinne,
wie es dort drüber steht, gelten.
Das ist hier das Entscheidende.
Wir sehen also die beiden Begriffe asymptotische Erwartungsteuer und
Konsistenz von Schätzfolgen.
Wir machen auch jetzt so wieder ein Beispiel.
Das war das Beispiel eben mit dem Schätzen der
Erfolgswahrscheinlichkeit in der Bernoulli-Kette aufgrund von
Nietenanzahlen vor dem ersten Treffer, dieses Beispiel.
Unabhängig geometrisch verteilt und wir haben gesehen, der Maximum
-Likelihood -Schätzer, der eben auf X1 bis Xn basiert, ist nichts
anderes als 1 durch 1 plus das arithmetische Mittel.
Das haben wir eben hergeleitet.
Die Frage ist, was macht diese Schätzfolge?
Tn ist jetzt ersetzt durch Theta in Dach.
Bei Maximum-Likelihood-Schätzung nennt man das dann Theta in Dach.
Xn quer ist nichts anderes als das.
So liegt Konsistenz vor.
Wir sehen uns das an.
Und hier ist der Ansatz folgender.
Wir haben ein Gesetz großer Zahlen.
Und das Gesetz großer Zahlen sagt, dieses arithmetische Mittel, was da
steht, das konvergiert für N gegen N endlich stochastisch, wenn Theta
der wahre Parameter ist, gegen den Erwartungswert von X1 unter Theta.
Das war auf der ersten Folie von Kapitel 18, wo wir einfach mit der
Chebyschev -Ungleichung argumentiert hatten.
Das heißt, ich habe hier dieses schwache Gesetz der großen Zahlen und
danach habe ich das.
Was ist aber jetzt der Erwartungswert?
Jetzt müssen wir uns erinnern, was war denn der Erwartungswert so
einer geometrischen Verteilung mit Parameter P?
Und der Erwartungswert war 1-P dividiert durch P. Und P ist jetzt hier
Theta.
Also 1-Theta dividiert durch Theta.
Das müsste rauskommen.
Wir sehen, 1-Theta durch Theta ist der Erwartungswert.
Und den taufe ich mal abkürzend A.
Aus rein didaktischen Gründen.
Das sei A.
Jetzt haben wir aber Folgendes gesehen.
Da oben steht jetzt Theta in Dach ist eine Funktion von x entquer.
1 durch 1 plus x entquer.
Wir wissen, x entquert konvergiert stochastisch gegen was.
So konvergiert denn dann auch 1 durch 1 plus x entquer stochastisch.
Nun 1 durch 1 plus T als Funktion von T, größer gleich 0, ist
natürlich eine wunderbar stetige Funktion.
Und wir hatten ein Sachverhalt gehabt, dass sich stochastische
Konvergenz überträgt, wenn ich eine stetige Funktion draufsetze.
Eigentlich braucht die nur stetig sein an der Stelle A.
Die Funktion g von T definiert als 1 durch 1 plus T ist stetig.
Aus dem Grunde, das war Satz 18.6, folgt nun Theta in Dach.
Was ist das?
Theta in Dach, schauen Sie hin.
Das ist nichts anderes als 1 durch 1 plus x entquer.
Und das ist g von x entquer.
Und x entquer konvergiert stochastisch.
Nach diesem Satz konvergiert auch g von x entquer stochastisch gegen g
von stochastischer Grenzwert, deshalb A.
Das heißt, ich habe hier stochastische Konvergenz gegen g von A.
Und jetzt setze ich ein, was ist g von A?
g von A ist nichts anderes als 1 durch 1 plus A.
Und jetzt setzen Sie für A ein, was da steht.
1 minus Theta durch Theta.
Das können wir schnell im Kopf machen.
Im Nenner steht dann 1 plus 1 minus Theta durch Theta.
Oh, da bleibt über im Nenner 1 durch Theta.
Und 1 durch 1 durch Theta ist Theta.
Das heißt, da kommt Theta raus.
Das heißt, wir sehen, Theta in Dach konvergiert stochastisch, wenn
Theta der wahre Parameter ist, gegen diesen Wert Theta.
Und damit habe ich eine konsistente Schätzfolge.
Da haben wir diesen Satz verwendet.
Der Schätzer ist nicht erwartungstreu, Theta in Dach.
Das heißt, auch die Botschaft bei Maximum Likelihood Schätzung muss
nicht immer ein erwartungstreuer Schätzer herauskommen.
Die Schätzfolge ist aber asymptotisch erwartungstreu.
Konsistenz haben wir eben gezeigt.
Und diese Nicht-Erwartungstreue und asymptotische Erwartungstreue ist
ein Gegenstand für Sie einer Übungsaufgabe.
Das wäre hier so ein Beispiel nochmal für eine Maximum Likelihood
Schätzung, bei dem Sie auch sehen, dass Sie die Lock-Likelihood
-Funktion gewinnbringend verwenden können.
Sie werden das auch in den Übungsaufgaben noch vertiefen.
Wir haben jetzt das Kapitel über Schätzen, Punktschätzung
abgeschlossen.
Aber ich hatte schon gesagt, im Binomialfall, selbst wenn Sie eben
eine relative Trefferhäufigkeit haben, aus 100 Versuchen von 0,38,
also 38 Treffer, Sie werden vielleicht mal gefragt werden, nach einem
Intervall, in dem vermutlich das p liegt, das exakt 0,38 ist.
Das wird niemand vielleicht annehmen.
Das wäre ein Glücksfall, dass wir genau das Richtige schätzen.
Aber das führt auf einen neuen Begriff und das führt auf den Begriff
des Konfidenzbereichs.
Das heißt, wir haben also hier ein Kapitel, ein zweites Kapitel, im
Bereich der induktiven Statistik.
Konfidenzbereiche, im Deutschen Vertrauensbereiche.
Also Vertrauen möchte ich zu irgendwas haben.
Wir haben Vertrauen in der Stochastik auf das Eintreten von
hochwahrscheinlichen Ereignissen.
Also wenn ich Ihnen sage, die Wahrscheinlichkeit eines Ereignisses ist
0,95, dann werden Sie sagen, okay, ich kann darauf vertrauen, dass das
eintritt.
Also ich jetzt das Eintreten oder Nicht-Eintreten beobachten kann.
Natürlich muss es nicht eintreten, aber 95% Wahrscheinlichkeit ist
schon ein guter Wert.
Also, Ausgangspunkt, ein statistisches Modell und ein Punktschätzer.
Also das ist die Situation, wie wir sie bislang hatten.
Nichts Neues.
Jetzt wieder Theta-Schlange sei wieder eine Obermenge und so ein
Punktschätzer liefert für solche Daten, klein x, meistens sind das
irgendwelche Vektoren, einen konkreten Schätzwert.
Ist okay, ich habe da einen konkreten Schätzwert für Theta, aber
dieser konkrete Schätzwert macht keine Aussage über die Größe des
Schätzfehlers.
T von x ist der Schätzwert, den ich rausbekomme.
Theta ist der wahre Wert.
Ich habe einen Schätzfehler, T von x minus Theta.
Niemand sagt uns, was das Theta ist.
Ich habe das T von x ausgerechnet.
Also niemand sagt uns auch, wie groß der Schätzfehler ist.
Das wird schwierig.
Die Frage ist, kann man diesen konkreten Schätzwert mit einer
Genauigkeitsangabe versehen?
Zum Beispiel, wenn Theta-Schlange Teilmenge R ist in Form eines
Intervalls.
Ich nenne das mal c von x, das Intervall.
Also das könnte vielleicht die Grenzen haben.
Wir sehen, linke Grenze ist T von x, der konkrete Schätzwert, minus
irgendwie ein a, was von x abhängt und der rechte Endpunkt ist T von x
plus irgendein b, was von x abhängt.
Geht das?
Prinzipielle Frage.
Das c soll schon stehen, sozusagen für Konfidenz, aber sozusagen
englisch oder lateinisch.
Anstelle von k ein c.
Das steckt dahinter, hinter dem Buchstab.
Also die Frage ist, welchen Wahrheitsanspruch besitzt die Aussage, das
Intervall c von x enthält den unbekannten Parameter Theta.
Also konkret, Bernoulli-Kette, 100 Versuche.
Sie haben eine relative Trefferhäufigkeit von 0,38 beobachtet und
jetzt machen Sie einen Intervall.
Sie ziehen noch 0,07 ab und addieren noch 0,07.
Das heißt, Sie geben jetzt einen Intervall von 0,31 bis 0,45.
Jetzt sagen Sie, der Parameter Theta liegt da drin, die wahre
Erfolgswahrscheinlichkeit, ist also mindestens 0,31 und höchstens 0
,45.
Welchen Wahrheitsanspruch hat diese Aussage?
Das Entscheidende ist, Theta ist ein unbekannter Parameter.
Entweder liegt das Theta da drin oder es liegt nicht drin.
Die Frage kann uns niemand beantworten, vielleicht nur meister Zufall,
der vielleicht das Theta kennt.
Wir können uns irren.
Das wahre Theta kann vielleicht 0,7 sein, die
Erfolgswahrscheinlichkeit.
Wir haben in 100 Versuchen nur 38 Treffer erhalten.
Logisch nicht auszuschließen.
Das heißt, das ist eigentlich hier eine ganz entscheidende Frage und
beachte, Theta ist unbekannt, aber nicht zufällig.
Wenn ich ein konkretes Intervall habe, kann ich nicht mehr von einer
Wahrscheinlichkeit sprechen.
Theta ist ein unbekannter Parameter, aber fest.
Und c von x ist ein festes Intervall.
So was kann man machen.
Das Entscheidende ist, dass x in dem Intervall ist eine Realisierung
einer Zufallsvariante.
Stellen Sie sich vor, Sie haben jetzt den Schätzer t.
Der Schätzer ist eine Vorschrift.
t ist eine Abbildung auf den Stichprobenraum.
Für jedes kleine x haben Sie ein t von x.
Und wenn a von x eine Funktion ist, auch auf dem Stichprobenraum, dass
Sie die haben und das b auch, dann wissen Sie, bevor ich das
Experiment mache, ist das klein x eine Realisierung von groß x.
Das heißt, die Intervallgrenzen sind zufällig.
Ich habe ein zufälliges Intervall, bevor ich das Experiment mache.
Hinterher habe ich ein konkretes, ausgerechnetes.
Und der Zugang ist über dieses zufällige Intervall.
Und da kann ich auch von Wahrscheinlichkeiten sprechen.
Ich mache es am Beispiel der Binomialverteilung.
Stellen Sie sich vor, groß x hat die Komponenten x1 bis xn und diese
sind wieder unabhängig, immer die gleiche Situation, jeweils
binomialverteilt.
Ich sage hier sogar jetzt p.
p ist also die Erfolgswahrscheinlichkeit.
Wir müssen so flexibel sein, mal ist es Theta allgemein, mal ist es
ein konkretes p.
x ist unser Stichprobenraum, die n-Tupel aus 0 und 1.
Und jetzt mache ich folgendes, tn sei unsere zufällige relative
Trefferhäufigkeit.
Das wissen wir der Max- und Leitglutzschätzer und das ist auch der
Schätzer, den der gesunde Menschenverstand sagt.
Nimm einfach die relative Trefferhäufigkeit.
Was ist der Erwartungswert?
Den kennen wir auch.
Der Erwartungswert ist p, das haben wir ausgerechnet.
Und die Varianz kennen wir auch, die ist p mal 1 minus p durch n.
Das haben wir alle schon ausgerechnet.
Ich kann hier folgendes machen, hier geht jetzt diese Umgleichung ein.
p mal 1 minus p ist immer kleiner gleich ein Viertel.
Das heißt unabhängig von dem p ist die Varianz höchstens 1 durch 4.
Okay, wenn wir das haben, gebe ich mir eine Zahl vor, Alpha.
Strickt zwischen 0 und 1, das ist jetzt was Neues und das wird eine
Wahrscheinlichkeit sein.
Die müssen Sie als Wahrscheinlichkeit interpretieren.
Aber denken Sie immer daran, dieses Alpha wird klein sein, 0,05.
Damit ist 1 minus Alpha groß, 0,95.
Typische Werte für dieses Alpha sind 0,01, 0,05 oder 0,1.
Auf jeden Fall kleine Werte.
Größer als 0,1 wird da nie was genommen.
Also damit ist 1 minus Alpha groß.
Und zu einer großen Wahrscheinlichkeit haben wir Vertrauen.
Also wenn jetzt ein Ereignis mit mindestens Wahrscheinlichkeit 1 minus
Alpha eintritt, dann haben wir Vertrauen auf das Eintreten dieses
Ereignisses.
Wir werden jetzt 1 konstruieren.
Es gilt für jedes p, das ist wichtig.
Sehen Sie sich mal dieses Ereignis an, was da steht.
Da steht die zufällige relative Trefferhäufigkeit tn minus etwas, 1
durch 2 mal Wurzelalpha n, kleiner gleich p, kleiner gleich tn plus 1
durch 2 mal Wurzelalpha n.
Der Zufall steckt in tn.
Das heißt, wir können hier die Wahrscheinlichkeit auch konkret
ausrechnen.
Wir wollen sie gar nicht exakt ausrechnen, wir wollen sie gleich nach
unten abschätzen.
Aber Sie müssen das so interpretieren, da steht die
Wahrscheinlichkeit, dass offenbar ein zufälliges Intervall mit den
Grenzen tn minus etwas, 1 durch 2 mal Wurzelalpha n, und rechten
Endpunkt tn plus etwas, 1 durch 2 mal Wurzelalpha n, das unbekannte p
enthält.
Deuten Sie das so.
Ein Intervall mit zufälligen Endpunkten enthält das p.
p ist nicht zufällig.
Der Zufall steckt in tn.
Wir werden jetzt sehen, dass die Wahrscheinlichkeit mindestens 1 minus
Alpha ist.
Fangen wir an.
Wir können das so schreiben, das ist die Wahrscheinlichkeit, wenn p
der wahre Parameter ist, dass tn minus p dem Betrage nach höchstens 1
durch 2 mal Wurzelalpha n ist.
Das ist das gleiche.
Jetzt sehen Sie, tn, zufällige relative Trefferhäufigkeit, hat den
Erwartungswert p.
Da steht also die Wahrscheinlichkeit Zufallsvariable minus
Erwartungswert dem Betrage nach kleiner gleich etwas.
Oh, wenn ich das stehen hätte, größer als etwas, dann kann ich das
nach oben abschätzen mit der Cevetchev-Ungleichung.
Nämlich Wahrscheinlichkeit Zufallsvariable, sagen wir y, minus
Erwartungswert von y dem Betrage nach größer als irgendwas, ist
kleiner gleich Varianz von y durch irgendwas zum Quadrat.
Das war Cevetchev.
So, das bedeutet, ich schreibe das erst mal um als komplementäres
Ereignis.
Ich schreibe jetzt größer.
Da muss ich natürlich beginnen mit 1 minus, wenn ich das komplementäre
Ereignis haben will.
Und dann steht da nämlich größer, und das kann ich nach oben
abschätzen mit Cevetchev.
Also habe ich eine Abschätzung hier nach unten größer gleich.
Ich fange an mit 1 minus.
Und jetzt kommt oben diese Cevetchev-Ungleichung rein.
Und jetzt setze ich ein, die obere Schranke, und zwar ist das die
Varianz von tn, dividiert durch das irgendetwas, das ist hier 1 durch
2 mal Wurzelalpha n in Klammern zum Quadrat.
Das mache ich.
Wir sehen die Varianz, wenn p der wahre Parameter ist von tn und das
irgendetwas ist 1 durch 2 mal Wurzelalpha n in Klammern zum Quadrat.
Jetzt setze ich nur noch ein.
Das ist die Varianz von tn unter p.
Ausgerechnet da oben steht sie p mal 1 minus p durch n.
Und unten drösel ich das ein bisschen auf und dann erhalte ich das.
1 minus p mal 1 minus p durch n mal 4 alpha n.
Weil ich im Nenner ja durch etwas teile.
Im Nenner steht da 1 durch irgendwas zum Quadrat.
D.h.
sie teilen durch 1 durch 4 mal alpha n.
Also muss 4 mal alpha n nach oben hinkommen.
Jetzt sehen Sie, das n kürzt sich weg.
Und p mal 1 minus p ist höchstens ein Viertel.
Also 4 mal p mal 1 minus p ist höchstens 1.
Nach oben abgeschätzt, d.h.
wir schätzen nach unten ab.
Größer oder gleich 1 minus alpha.
D.h.
wenn wir alpha gleich 0,05 setzen, haben Sie jetzt die interessante
Aussage, ganz egal wie die Erfolgswahrscheinlichkeit ist, die
Wahrscheinlichkeit, dass ein zufälliges Intervall mit diesen
Endpunkten tn plus minus, dieses 1 durch 2 Wurzel alpha n, den
unbekannten Parameter enthält, ist mindestens 1 minus alpha.
Also z.B.
95%, 0,95.
So es könnte Ihnen jetzt noch passieren, dass die untere
Intervallgrenze tn minus 1 durch 2 Wurzel alpha n kleiner ist als 0.
Aber Sie wissen, Wahrscheinlichkeiten sind mindestens 0.
Es kann Ihnen auch passieren, dass die obere Intervallgrenze größer
ist als 1, aber Sie wissen, Wahrscheinlichkeiten sind höchstens 1.
Sie können also dort noch ein bisschen besser agieren und bekommen
folgendes raus.
Wir bilden das zufällige Intervall, ich nenne es mal in, ein
Intervall, was von x1 bis xn abhängt über das tn.
Das tn ist nichts anderes als 1 durch n mal Summe dieser Großxj.
Jetzt kommt die linke Intervallgrenze und Sie schreiben hier einfach
Maximum von 0.
Wenn tn minus 1 durch 2 Wurzel alpha n kleiner ist als 0, wird es
durch 0 ersetzt.
Ansonsten haben Sie noch ein Minimum von 1.
tn plus 1 durch 2 Wurzel alpha n größer ist als 1.
Dann haben Sie auf jeden Fall die obere Schranke 1 für die
Wahrscheinlichkeit.
Und dieses zufällige Intervall enthält den unbekannten Parameter mit
mindestens der Wahrscheinlichkeit 1 minus alpha, ganz egal, wie dieser
Parameter aussieht.
Den kennen wir eben nicht.
Das ist das Entscheidende.
Es ist eine Teilmenge des Einheitsintervalls, eine zufällige
Teilmenge.
Und es gilt eben die Wahrscheinlichkeit.
Und Sie sehen jetzt diese bewusst gewählte Schreibweise.
Das ist ein didaktischer Hilfeschrei.
Damit Sie nie, nie auf die Idee kommen, P sei zufällig.
P ist fest.
Der Zufall steckt im Intervall.
Und lesen Sie das so, es ist die Wahrscheinlichkeit, dass dieses
zufällige Intervall den Parameter P enthält.
Diese Wahrscheinlichkeit ist mindestens 1 minus alpha, ganz egal,
welches P zugrunde liegt.
Und wir kennen das nicht.
Das war die Frage, wenn ich eben einem Alpha spielen will.
Das Alpha ist natürlich jetzt eine Größe.
Sie sehen, wenn ich mehr Vertrauen haben möchte, natürlich ist ein
Ereignis, das mit Wahrscheinlichkeit 0,99 eintritt, wenn ich das weiß,
oder mindestens mit dieser Wahrscheinlichkeit habe ich mehr Vertrauen
zu, als wenn da nur 0,9 stehen würde.
Sie sehen aber, was bei dem Alpha passiert, wenn ich das Alpha kleiner
wähle, dann wird das Intervall im Prinzip länger.
Es steht Wurzel Alpha im Nenner.
Es ist also vollkommen klar, das muss auch der gesunde
Menschenverstand sagen, wenn ich höheres Vertrauen haben will, wird
die Aussage ungenauer.
Die einzige sichere Aussage ist, P liegt zwischen 0 und 1.
Aber die können Sie machen, bevor Sie die Daten kennen.
Die ist trivial.
Das ist ganz klar, die Länge des Intervalls ist sofort eine Funktion
von Alpha.
Alpha geht da ein, natürlich auch das N geht ein.
Das Entscheidende ist eben, Sie haben hier an diesem Beispiel mit
einer sehr einfachen Ungleichung, nämlich Chebyshev, haben Sie den
Begriff eines Vertrauensbereichs kennengelernt.
Konfidenzbereich.
Ein Konfidenzbereich ist ein zufälliger Bereich, hier ist es jetzt ein
Intervall, der eben unabhängig davon, wie der unbekannte Parameter
ist, mit großer Wahrscheinlichkeit diesen Parameter enthält.
Und die Definition ist einfach die, das ist die Definition eines
Konfidenzbereichs.
Wenn ich so ein statistisches Modell habe, und habe so eine Zahl Alpha
zwischen 0 und 1, immer daran denken, Alpha wird klein sein.
Zum Beispiel Alpha gleich 0,05, das ist der übliche Wert.
Eine Abbildung, und jetzt kommt es, allgemein gesehen, ist das eine
Abbildung C, die ordnet den kleinen, den Stichprobeelementen klein x,
das sind die Daten, die ich hier habe, die Daten, Vektoren, zu einer
Teilmenge von Theta.
Geht also in die Potenzmenge von Theta hinein.
Und zwar mit folgender Eigenschaft, heißt erst mal Konfidenzbereich
für Theta zur Konfidenzwahrscheinlichkeit 1-Alpha.
Wir sehen also Vertrauen, Konfidenz, 1-Alpha ist die
Vertrauenswahrscheinlichkeit oder Konfidenzwahrscheinlichkeit, Alpha
ist klein, 1-Alpha ist groß, und zwar falls gilt, jetzt kommt es, die
Wahrscheinlichkeit, wenn Theta der wahre Parameter ist, der Menge
derjenigen Elemente klein x im Stichprobenraum, die die Eigenschaft
haben, dass der berechnete Bereich C von x als Teilmenge von Theta,
geht ja in die Potenzmenge von Theta, dieses unbekannte Theta, was an
der Wahrscheinlichkeit als Index dransteckt, enthält, diese
Wahrscheinlichkeit ist mindestens 1-Alpha.
Das ist eben hier die Definition, und das muss gelten, das ist das
Entscheidende, muss gelten für jedes Theta, für jedes, unabhängig
davon.
Das ist wirklich, muss man erstmal fassen, der Zufall steckt nur in
dem zufälligen Bereich.
Das ist hier sehr allgemein aufgeschrieben, sehr allgemein, man bricht
das natürlich jetzt sofort wieder runter, will noch ein paar
Bemerkungen machen, um das dann abzuschließen.
Also das ist hier nochmal als Memo, Konfidenzbereich zu diesem Niveau,
sagt man dann auch Konfidenzniveau.
Und die Bemerkungen sind die, synonym sagt man auch immer
Vertrauensbereich im Deutschen.
Für Konfidenzbereich, Vertrauensbereich.
Fides, lateinisch das Vertrauen.
Man sagt auch Vertrauenswahrscheinlichkeit anstelle von
Konfidenzwahrscheinlichkeit.
Und wenn Theta eine Teilmenge von R ist, das muss eben in der
allgemeinen Situation überhaupt nicht sein, aber wenn es eine
Teilmenge von R ist, dann können natürlich diese Bereiche, die
Teilmengen von Theta Intervalle sein.
Wir haben eben auch ein Intervall konstruiert, im Binomialfall.
Und ist eben für jedes kleinen x die Menge Cx ein Intervall, so
spricht man auch von einem Konfidenzintervall oder
Vertrauensintervall.
Das ist dann die Sprechweise, die man hat.
Folgendes sollte man hier beachten.
Das C ist ja definiert auf dem Stichprobenraum.
Jedem kleinen x wird was zugeordnet.
Immer eine Teilmenge von Theta.
Die kleinen x sind aber Realisierung unserer Zufallszweigen Groß x.
Und das Auftreten wird gesteuert durch Theta, durch den Parameter.
Da steckt eben das Wahrscheinlichkeitsmaß hinter.
Das bedeutet, wenn ich wiederholt dieses Verfahren anwende, denken wir
auch an den Binomialfall.
Ich weiß ja vorher nicht, wie viele Treffer sich ergeben in den 100
Versuchen.
Ich mache das einmal, dann werde ich einen Intervall bekommen.
Ich mache es nochmal unter unabhängigen Bedingungen, dann bekomme ich
vielleicht ein anderes Intervall.
Genauso wie ich unterschiedliche Schätzwerte bekomme für die
unbekannte Erfolgswahrscheinlichkeit.
Das ist das Entscheidende.
Ich habe eine Zufallsvariable.
So muss ich das deuten.
Und hier sehen Sie nochmal die Menge aller Elemente im
Stichprobenraum, konkrete Daten, die die Eigenschaft haben, dass
anhand dieser Daten berechneter Bereich das Theta enthält, ist das
Ereignis, so können Sie das deuten, der Bereich überdeckt das Theta.
Der zufällige Bereich überdeckt das Theta.
Und das schreiben wir auch in folgender Form, nochmal Theta ist nicht
zufällig, das ist hier wichtig, sondern vor Durchführung des
Experiments ist die Realisierung zufällig.
Da steckt der Zufall drin.
Das ist eben die Realisierung von Groß-X und damit ist auch C von X
zufällig.
Das ist hier wichtig.
Das heißt, wir können es kompakt so schreiben, Sie sehen, jetzt ist
das Groß-X eingesetzt.
Das ist der zufällige Bereich C, der berechnet wird nach der
Realisierung von Groß-X, aber C von Groß-X ist eine zufällige
Teilmenge von Theta.
Und dass die den unbekannten Parameter, der an der Wahrscheinlichkeit
dran steckt, also das ist der wahre Parameter hier im Modell, dass die
zufällige C von X Theta überdeckt, ist mindestens 1-Alpha für jedes
Theta.
Das ist hier die wichtige Botschaft.
Also das C von X, das ist das Entscheidende, wird bei wiederholter,
unabhängiger Durchführung unter gleichen Bedingungen in mindestens,
und zwar auf die Dauer, soll ich noch sagen, in mindestens 1-Alpha mal
100 % aller Fälle Theta enthalten.
Ich weiß nicht, ob das im konkreten Einzelfall bei mir ist.
Ja, Sie sehen, die Wahrscheinlichkeit von einem Ereignis ist
mindestens Alpha, mindestens 95%.
Wenn Sie in unabhängiger Folge das Eintreten oder Nicht-Eintreten
dieses Ereignisses beobachten, jetzt kommt das Gesetz der großen
Zahlen, wenn die Wahrscheinlichkeit mindestens 0,95 ist, dann
beobachten Sie auf die Dauer auch eine relative Trefferhäufigkeit von
mindestens 0,95, Gesetz der großen Zahlen.
Ob es in Ihrem Einzelfall, die bei Nullikette Sie beobachten, das
einmal erfüllt ist, ob eben das Intervall, was Sie ausrechnen, Theta
enthält, wissen Sie nicht.
Sie wissen aber auf die Dauer, wenn Sie das immer wieder machen, auf
die Dauer enthalten mindestens 95% dieser Intervalle das unbekannte
Theta.
Mehr ist hier nicht zu machen.
Das sind die Grenzen der Erkenntnis bei Konfidenzbereichen.
Das muss man sich hier wirklich klar machen.
Letzte Bemerkung, Sie können einen trivialen Bereich angeben, Sie
können sagen, Sie sehen sich die Daten nicht an und sagen immer Groß
-Theta.
Groß -Theta enthält Ihren Parameter sowieso.
Das ist genau so eine triviale Aussage, wie zu sagen, p liegt zwischen
0 und 1.
Das heißt, dieser triviale Bereich erfüllt natürlich immer 22,3, aber
der ist sinnlos.
Was wir natürlich möchten, ist ein kleines c von x.
Wir möchten sozusagen kleine Bereiche haben.
Und trotzdem sollten wir zu denen hohes Vertrauen haben.
Das ist eben das Entscheidende.
Okay, dann machen wir an dieser Stelle Schluss.