Mit diesem Video möchte ich für eine ganz klassische Frage die
neuesten Forschungsergebnisse vorstellen.
Die Frage ist die, wie gut ist denn die Approximation der
Binomialverteilung durch die Normalverteilung beim zentralen
Grenzwertsatz.
Ich möchte kurz den zentralen Grenzwertsatz von de Moivre und Laplace
für die Binomialverteilung rekapitulieren.
Es sei hierzu x1, x2 usw.
eine Folge von stochastisch unabhängigen, identisch verteilten, dafür
schreibe ich kurz im folgenden u.i.v.
unabhängig identisch verteilte Zufallsvariablen mit folgender
Eigenschaft.
Jede Zufallsvariable nimmt den Wert 1 an mit Wahrscheinlichkeit p und
den Wert 0 mit Wahrscheinlichkeit 1-p.
Und ich setze voraus, dass p größer als 0 und kleiner als 1 ist.
Meinen solche Variablen auch Bernoulli-Variablen, anschaulich geben
sie einen Treffer an oder eine Niete, 1 steht für den Treffer, 0 für
die Niete.
Ich definiere als Sn die Summe von x1 bis xn und setze, was üblich
ist, im folgenden Kurz q zu 1-p.
Die Zufallsvariable Sn besitzt dann eine Binomialverteilung mit
Parametern n und p.
So, was ist jetzt die Aussage des zentralen Grenzwertsatzes von
Desmoivre -Laplace?
Wir müssen übergehen zu einer Standardisierung von Sn, ich nenne die
Zufallsvariable Sn-Stern.
Was muss ich machen mit Sn?
Ich muss von Sn den Erwartungswert subtrahieren, der ist n mal p.
Und ich muss dann teilen durch die Standardabweichung von Sn, die
Varianz ist n mal p mal q, also durch Wurzel aus n mal p mal q.
Jetzt haben wir eine standardisierte Zufallsvariable, die den
Erwartungswert 0 und die Varianz 1 besitzt.
Und jetzt kommt etwas, was in Vorlesungen im Allgemeinen Heiterkeit
auslöst, ich spreche jetzt von Kleinvieh und Großvieh, ohne dass ich
unter die Viehzüchter gegangen wäre, nämlich Kleinvieh von t ist die
Bezeichnung für die Gauss'sche Glockenkurve, die Dichte der
Standardnormalverteilung an der Stelle t, also 1 durch Wurzel aus 2pi
mal e hoch minus t Quadrat halbe.
Und Großvieh von x ist das Integral dieser Dichte der
Standardnormalverteilung in den Grenzen von minus und bis x.
Nach dem zentralen Grenzsatzsatz von De Moivre und Laplace gelten nun
folgende Aussagen.
Der Limes für n gegen unendlich, der Wahrscheinlichkeit, dass diese
standardisierte Zufallsvariable kleiner gleich x ist, also die
Verteilungsfunktion von Sn-Stern an der Stelle x, ist im Limes
Großvieh von x für jedes reelle x Und durch Differenzbildung erhält
man, der Limes für n gegen unendlich, der Wahrscheinlichkeit, dass
diese standardisierte Zufallsvariable Sn-Stern in ein Intervallfeld
mit den Grenzen von a bis b ist, das Integral der Gauss'schen
Glockenkurve in diesen Grenzen von a bis b, ganz egal wie a und b
gewählt werden.
Das sind die Aussagen.
Ich nehme das nochmal als Memo auf, diese erste Aussage mit der
Verteilungsfunktion.
Wir haben also punktweise Konvergenz der Verteilungsfunktion von Sn
-Stern gegen die Verteilungsfunktion der Standardnormalverteilung.
Und die Frage, die sich stellt, ist, wie groß ist denn der Fehler bei
dieser Approximation der Verteilungsfunktion von Sn-Stern durch diese
Verteilungsfunktion der Standardnormalverteilung.
Die übliche Faustregel, die ich auch früher gelernt hatte, ist die,
falls die Varianz der Binomialverteilung n mal p mal q mindestens 9
ist, so sei diese Approximation hinreichend gut.
Und ich wurde gefragt, kann man das nicht präzisieren und ich möchte
jetzt hierzu die neuesten Forschungsergebnisse vorstellen.
Zunächst muss man sich folgendes überlegen.
Nach einem Satz von George Polya gilt, dass diese Konvergenz, das ist
ein allgemeines Resultat, weil die Verteilungsfunktion der
Standardnormalverteilung stetig ist, ist die Konvergenz, die im Memo
steht, sogar gleichmäßig in x.
Ich kann definieren, ich definiere einen Groß-Delta-Index np, das sei
definiert als das Supremum über alle x aus R und jetzt kommt die
betragsmäßige Differenz der Verteilungsfunktion von Sn-Stern an der
Stelle x und der Verteilungsfunktion der Standardnormalverteilung an
der Stelle x und dies konvergiert für n gegen unendlich gegen 0.
Über die Konvergenzgeschwindigkeit weiß man sogar in einem
allgemeineren Rahmen schon recht gut Bescheid.
Ich möchte das als Exkurs aufnehmen.
Falls allgemeiner x1, x2 eine Folge von unabhängigen und identisch
verteilten Zufallsvariablen ist und folgende Voraussetzung erfüllt
ist, der Erwartungswert von x1-Betrag hoch 3 ist endlich, das heißt
das dritte absolute Moment von x1 existiert, so gilt, und ich kürze
jetzt ab, µ sei der Erwartungswert von x1 und ich setze voraus, dass
die Varianz σ² von x1 strikt positiv ist, dann gilt nach einem alten
Satz von Andrew Campbell Berry und Carl Gustav Essen, die das
unabhängig voneinander entdeckt haben zu Beginn der 40er Jahre, man
sieht hier eine Größe Δn, die möchte ich zunächst mal definieren, es
ist das Supremum über alle reellen x und jetzt sieht man eine
betragsmäßige Abweichung, rechts ist die Verteilungsfunktion der
Standard -Normalverteilung, Groß-Vieh an der Stelle x, und links steht
eine Wahrscheinlichkeit, das Sn, was man im Zähler sieht, ist die
Summe der xj von 1 bis n, und dieses Sn wird standardisiert, ich ziehe
den Erwartungswert der Summe ab, der ist n mal µ, und ich dividiere
durch die Standardabweichung der Summe die σ mal Wurzeln.
Dieser Bruch Sn minus n mal µ durch σ mal Wurzeln entspricht unserem
Sn -Stern von oben, das ist ein Spezialfall, hier haben nur die xj
eine allgemeine Verteilung.
Man sieht also, es ist die maximale betragsmäßige Abweichung der
Verteilungsfunktion der standardisierten Summe von der
Verteilungsfunktion der Standard-Normalverteilung und der Satz besagt,
dieses Δn ist kleiner oder gleich einer absoluten konstanten c, über
die ich gleich noch was sage, dividiert durch Wurzeln und dann wird
multipliziert mit dem Erwartungswert von x1 minus µ dividiert durch σ
Betrag hoch 3.
Man sieht x1 minus µ durch σ ist das standardisierte x1, es wird µ
subtrahiert und durch die Standardabweichung σ geteilt und davon ist
es dann das dritte absolute Moment.
Man sieht auf der rechten Seite, die Konvergenzgeschwindigkeit ist von
der Größenordnung 1 durch Wurzeln, das ist hier ein universelles
Resultat und es gilt, diese Konstante, über die kann man folgendes
sagen, ich gebe erstmal eine Zahl an 0,4097, das ist nichts anderes
als Wurzel 10 plus 3, dividiert durch 6 mal Wurzel aus 2π und die
Konstante c ist größer oder gleich diesem Wert, das weiß man und die
beste obere Schranke, die man heute hat, ist 0,4690 und die stammt von
Irina Shevtsova aus dem Jahr 2013.
Ich nehme auf die nächste Folie als Memo auf, wie wir ΔNP definiert
haben.
ΔNP ist definiert als die maximale betragsmäßige Differenz zwischen
der Verteilungsfunktion von SN-Stern und der Verteilungsfunktion der
Standard -Normal-Verteilung.
Und das ist nach diesem Satz von Bérezén kleiner oder gleich dieser
absoluten Konstante c durch Wurzel n und man sieht wieder den
Erwartungswert der dritten Potenz des Betrages der standardisierten
Zufallsvariable x1.
Was passiert im Spezialfall, wenn x1 eine Binomialverteilung hat mit
Parametern 1 und p?
Wie sieht der Erwartungswert aus?
μ, der Erwartungswert, ist p und die Varianz ist p mal 1 minus p, also
p mal q und wir rechnen hier auch mal dieses dritte Moment aus des
Betrages der standardisierten Zufallsvariablen, also diese Größe.
Das können wir sehr einfach ausrechnen.
x1 nimmt die Werte 1 und 0 an mit Wahrscheinlichkeit p beziehungsweise
q.
Gehen wir den ersten Fall durch, der passiert mit Wahrscheinlichkeit
p.
Jetzt ist also x1 gleich 1 und dann sehen wir, das μ ist p, also haben
wir 1 minus p, das ist q.
Betrag ist weiterhin q hoch 3, heißt p mal q hoch 3.
Was wir machen werden, das habe ich unterschlagen, wir sehen dort im
Nenner das Sigma und die dritte Potenz.
Das schreiben wir am Ende in den Nenner.
Es baut sich also hier ein Bruch auf.
Der zweite Fall ist der, dass x1 den Wert 0 annimmt, das passiert mit
Wahrscheinlichkeit q.
Wenn x1 aber 0 ist im Zähler, steht hier 0 minus μ, also 0 minus p,
Betrag hoch 3, das ist p hoch 3.
Sigma Quadrat ist p mal q, also Sigma hoch 3 ist Sigma Quadrat hoch 3
Halbe, wir halten also p mal q hoch 3 Halbe im Nenner.
Wenn wir uns den Zähler ansehen, erkennt man, ich kann p mal q
ausklammern und dann bleibt im Zähler über nach dem Ausklammern q
Quadrat plus p Quadrat.
Wenn ich aber p mal q ausklammere im Zähler, kürze ich das zum Teil
weg, im Nenner steht ja p mal q hoch 3 Halbe.
Das heißt, ich erhalte p Quadrat plus q Quadrat durch Wurzel aus p mal
q.
Und ich kann das auch anders schreiben, nämlich wenn ich im Zähler
gedanklich noch 2 mal p mal q addiere, dann hätte ich nach der
binomischen Formel p plus q in Klammern zum Quadrat, das ist 1.
Ich muss natürlich dann 2 mal p mal q subtrahieren, ich erhalte also 1
minus 2 pq dividiert durch Wurzel aus p mal q.
Das bedeutet, ich könnte das jetzt einsetzen in das Memo.
Das Entscheidende ist, diese Konstante c, die im allgemeinen Fall
immer weiter verbessert worden ist, der neuste Stand ist von Frau
Scheffzower aus dem Jahr 2013.
Aber hier, im Spezialfall, wenn x1 eine Binomialverteilung besitzt mit
Parameter 1 und p, gibt es jetzt die optimale Konstante und ich stelle
jetzt Resultate vor der Dissertation von Jonah Schulz aus dem Jahr
2016, die er an der Universität Trier angefertigt hat.
Folgender Satz, Teil a.
Für jedes n größer gleich 1 und jedes p größer 0 und kleiner 1 gilt,
dieses Delta n p, was man im Memo sieht, die maximale betragsmäßige
Abweichung der Verteilungsfunktion der standardisierten
Binomialverteilung von der Verteilungsfunktion der
Standardnormalverteilung, ist kleiner als eine Konstante c Index s,
das s steht für Schulz, das habe ich hier eingefügt, mal und jetzt
steht 1-2pq durch Wurzel aus n mal p mal q, wobei diese Konstante cs
die untere Schranke in der allgemeinen Bary-Szenungleichung ist, also
dieser Ausdruck Wurzel 10 plus 3 dividiert durch 6 mal Wurzel 2p, also
ungefähr 0,4097.
Dieses Resultat ist bestmöglich, es gibt keine kleinere Konstante
derart, dass diese Aussage gilt für jedes n größer gleich 1 und jedes
p, was strikt zwischen 0 und 1 liegt.
Man erkennt, dass hier dieses Wurzel n mal p mal q wirklich eine Rolle
spielt, je größer das ist, desto besser ist die Abschätzung, man
erkennt aber auch im Zähler, dass es auch von p und q hier nochmal
abhängt, nämlich p mal q wird am größten, wenn p gleich 1 halb ist, p
gleich q gleich 1 halb, dann wird dort von der 1 der größtmögliche
Wert abgezogen, das ist dann 1 halb, man erkennt also hier für p
gleich q gleich 1 halb wird das bestmöglich.
Die Aussage b ist folgende, falls n größer gleich 1 ist und jetzt
kommt folgendes, falls das p nicht zu nah bei 0 und 1 ist, also p
liegt zwischen 1 Drittel und 2 Drittel, so kann man das Ganze noch
verbessern, nämlich dann ist delta n p kleiner als, jetzt sieht man, 3
plus p minus q Betrag dividiert durch 6 mal Wurzel 2 pi mal Wurzel n p
q, diese Schranke ist besser als die in a, man kann auch hier speziell
mal den Fall p gleich 1 halb einsetzen.
Um Teil c des Satzes von Jonah Schulz zu würdigen, schauen wir noch
einmal in das Memo.
Wir können delta n p betrachten als maximale betragsmäßige Differenz
der Wahrscheinlichkeit, dass SN-Stern in ein Intervall I fällt, mit
dem Integral der Dichte der Standard-Normalverteilung über dieses
Intervall.
Dabei durchläuft das Intervall I alle abgeschlossenen, nach links
unbeschränkten und nach rechts beschränkten Intervalle.
Möchte man die Wahrscheinlichkeit, dass SN-Stern in ein kompaktes
Intervall I fällt, mit dem Integral der Gaussian-Glockenkurve über
dieses Intervall vergleichen, so erhält man durch Differenzbildung aus
Teil a des Satzes, dass der maximale Fehler bei dieser Approximation
kleiner als das Doppelte der oberen Schranke in a, also kleiner als 2
mal cs mal der Bruch 1-2pq durch Wurzel aus npq ist.
Das nächste Ergebnis zeigt, dass mit gewissen Zusatzvoraussetzungen
der Vorfaktor 2 mal cs durch einen kleineren Wert ersetzt werden kann.
Teil c des Satzes hat folgende Gestalt.
Falls n größer gleich 6 ist und p zwischen 1 Sechstel und 5 Sechstel
liegt, also nicht zu nah bei 1 und bei 0, so gilt Das Supremum über
alle Intervalle I, der betragsmäßigen Differenz der
Wahrscheinlichkeit, dass SN-Stern in dieses Intervall fällt und dem
Integral der Dichte der Standard-Normalverteilung über dieses
Intervall, Man mache sich klar, die Intervalle hier können halboffen,
offen, unbeschränkt, beschränkt sein, abgeschlossen, das spielt keine
Rolle.
Diese maximale betragsmäßige Differenz ist kleiner als, und jetzt
sieht man eine neue Konstante, Wurzel aus 2 durch pi mal den gleichen
Bruch, den wir als obere Schranke von delta np in Teil a des Satzes
sehen, nämlich 1-2pq geteilt durch Wurzel aus npq.
Und die Konstante Wurzel 2 durch pi ist etwas kleiner als 0,8 und
damit kleiner als 2 mal cs.
Das sind also die Hauptergebnisse der Dissertation von Jonas Schulz
und ich möchte noch kurz darauf eingehen, warum die Abschätzungen in
diesem Satz jeweils bestmöglich sind.
Ich möchte eine Antwort hierauf anhand der konstanten cs in Teil a des
Satzes geben.
Multipliziert man die strikte Ungleichung in Teil a mit Wurzel n
durch, so ist für jedes n das Produkt Wurzel n mal delta np kleiner
als cs mal 1-2pq dividiert durch Wurzel pq.
Der Grenzwert für n gegen unendlich dieses Produktes ist aber gleich
cs mal 1-2pq durch Wurzel pq, sodass cs durch keinen kleineren Wert
ersetzt werden kann.
Ganz analog argumentiert man für die Teile b und c des Satzes.
Zusammenfassend ist zu sagen, dass die umfangreichen Untersuchungen
von Jonas Schulz zu bestmöglichen Fehlerabschätzungen bei der
Approximation der Binomialverteilung durch die Normalverteilung
geführt haben.
Insbesondere konkretisieren sie den mit der beschriebenen Empfehlung n
mal p mal q solle mindestens 9 sein verbundenen Approximationsfehler.