Herzlich willkommen zu diesem Video über den Chi-Quadrat-Test, genauer
den Chi-Quadrat-Anpassungstest in seiner einfachsten Form.
Dieser auf Karl Pearson zurückgehende Test markiert den Anfang der
mathematischen Statistik und er ist ein sehr verbreiteter Test.
So wird er selbst von Finanzämtern bei der Kontrolle von
bargeldintensiven Betrieben eingesetzt.
Der Zweck dieses Tests besteht darin, zu prüfen, ob in einem
multinomialen Versuchsschema relative Häufigkeiten mit hypothetischen
Wahrscheinlichkeiten verträglich sind.
Ich sage gleich noch etwas dazu.
An dieser Stelle jedoch eine dringende Empfehlung und die lautet, der
Chi -Quadrat-Test sollte nicht zur Prüfung auf Normalverteilung oder
irgendeiner anderen Familie stetiger Verteilung eingesetzt werden, da
gibt es nämlich bessere Verfahren, die speziell auf solche Familien
zugeschnitten sind.
Das eben angesprochene multinomiale Versuchsschema beinhaltet n
unabhängig voneinander durchgeführte Versuche oder neutraler
formuliert stochastische Vorgänge mit jeweils s möglichen Ausgängen,
die von 1 bis s durchnummeriert seien und Treffer 1.
Art, Treffer 2.
Art usw.
bis Treffer s.
Art heißen sollen, was immer ein solcher Treffer ist.
Bei Vererbungsvorgängen könnten die Trefferarten die feststellbaren
unterschiedlichen Phänotypen sein, beim Werfen eines Würfels die
verschiedenen Augenzahlen usw.
Die für jeden Versuch gleiche Trefferwahrscheinlichkeit für einen
Treffer j.
Art sei mit pj bezeichnet.
Die Zufallsgröße xj bezeichnet die zufällige Anzahl der Treffer j.
Art in den n Versuchen.
Sie besitzt eine Binomialverteilung mit den Parametern n und pj.
Und der mit x bezeichnete Zufallsvektor mit Komponenten x1 bis xs
besitzt eine Multinomialverteilung mit Parametern n und p1 bis ps.
D.h.
die Wahrscheinlichkeit, dass x den Wert k annimmt, ist dieser
Ausdruck, wobei k der Vektor mit Komponenten k1 bis ks ist.
Der mit einem kaligrafischen x bezeichnete Wertebereich von x ist die
Menge aller solcher s-Tupel mit nicht-negativen ganzzahligen
Komponenten, die sich zu n aufsummieren.
Die Summe der erhaltenen Trefferanzahlen muss ja die Gesamtanzahl n
aller Versuche sein.
Für ein statistisches Rahmenmodell ist der mit Theta bezeichnete
Vektor der Wahrscheinlichkeiten der einzelnen Trefferarten ein
unbekannter Parameter und der Parameterraum ist die Menge aller
möglicher solcher Vektoren, wobei wir alle Wahrscheinlichkeiten als
positiv voraussetzen.
Wegen der Summenbeziehung lässt sich die letzte Wahrscheinlichkeit ps
durch die anderen Wahrscheinlichkeiten ausdrücken.
Wir haben also nur s-1 freie Wahrscheinlichkeiten und die Zahl s-1
wird später noch eine Rolle spielen.
Es sei nun pi, ein gegebener Wahrscheinlichkeitsvektor und wir
definieren Theta0 als diese ein-elementige Teilmenge des
Parameterraums sowie Theta1 als deren Komplement.
Der Chi-Quadrat-Test dient dazu, die Hypothese H0 zu testen, dass die
unbekannten Wahrscheinlichkeiten pj gleich den pij sind oder mit
anderen Worten, dass Theta zu Theta0 gehört.
Die Alternative H1 dazu ist das logische Gegenteil.
Das heißt für mindestens ein j sind pj und pij verschieden, was kurz
in dieser Form ausgedrückt werden kann.
Als Beispiel diene der Fall s gleich 6 und gleichwahrscheinliche pi1
bis pi6.
Hier geht es also um das Testen eines Würfels auf Homogenität.
Die unter Annahme von H0 berechteten Wahrscheinlichkeiten für die
möglichen Realisierungen von x seien mit mn von k abgekürzt.
Ein Test läuft jetzt allgemein so ab, dass man einen sogenannten
kritischen Bereich als Teilmenge des Stichprobenraums kaligrafisch x
definiert und die Hypothese H0 genau dann ablehnt, wenn das k, also
der beobachtete Vektor der Trefferanzahlen, in diesen kritischen
Bereich fällt.
Es ist natürlich, diesen kritischen Bereich so festzulegen, dass er
aus den unter der Hypothese am wenigsten wahrscheinlichen Vektoren
besteht.
Dabei müssen wir beachten, dass bei jedem Test eine maximal tolerierte
Wahrscheinlichkeit für einen Fehler erster Art, also die fälschliche
Ablehnung von H0, vorgegeben ist.
In einem einfachen Beispiel, nämlich dem Fall n gleich 4, s gleich 3
und diesen hypothetischen Wahrscheinlichkeiten, besteht der
Stichprobenraum aus insgesamt 15 Triebeln und die sehen so aus.
Das erste Triebel bedeutet also 4 mal Treffer erster Art, das zweite 4
mal Treffer zweiter Art und so weiter.
Die Reihenfolge dieser Triebel erscheint chaotisch, ist sie aber
nicht, denn wenn wir uns die zugehörigen Wahrscheinlichkeiten unter H0
ansehen, so sind diese der Größe nachgeordnet.
Die wahrscheinlichste Konstellation ganz unten ist übrigens direkt
proportional zu den hypothetischen Wahrscheinlichkeiten.
Wir können uns jetzt zum Beispiel entscheiden, den kritischen Bereich
aus den obersten 6 Triebeln zu bilden.
Da das genau diejenigen Triebel sind, die an der dritten Stelle eine
Null aufweisen, können wir den kritischen Bereich in dieser Form
schreiben und die Wahrscheinlichkeit für einen Fehler erster Art ist
dann dieser Bruch und damit gleich 0,0625.
Ist die erlaubte Wahrscheinlichkeit für einen Fehler erster Art gleich
0,05, so müssten wir dasjenige Triebel mit der Wahrscheinlichkeit 6
,256 weglassen.
Aber dann wäre die Wahrscheinlichkeit für einen Fehler erster Art
deutlich unter 5%.
Prinzipiell kann man so für jedes N und jedes S vorgehen, aber selbst
schnelle Rechner versagen hier schon für nicht allzu große Werte von N
und es stellt sich die Frage nach einer praktikablen Möglichkeit, wenn
N groß ist.
Die entscheidende Einsicht in den Aufbau der Prüfgröße des Chi-Quadrat
-Tests liefert der sogenannte lokale zentrale Grenzwertsatz für die
Poissonverteilung, über den ich ein eigenes Video gemacht habe.
Zunächst schreibe ich noch einmal hin, wie Mn von K definiert ist.
Das nächste Gleichheitszeichen stellt einen Zusammenhang mit
Wahrscheinlichkeiten von Poissonverteilung her.
Dieses Gleichheitszeichen folgt daraus, dass die Summe von Pi1 bis Ps
gleich 1 und die Summe von K1 bis Ks gleich N ist.
Die Poissonwahrscheinlichkeiten können nach dem erwähnten
Grenzwertsatz durch folgende Ausdrücke approximiert werden.
Zur Tilde sage ich später noch Genaues.
Wenn man jetzt vereinfacht, ergibt sich dieser Bruch und dann noch e
hoch minus 1 halb und jetzt kommt eine wichtige Summe, die ich blau
markiere.
Wenn ich den Ausdruck rechts vom letzten Gleichheitszeichen so
abkürze, so gilt, und damit wird die Tilde präzisiert, der Quotient
aus Mn von K und Fn von K konvergiert für N gegen Unendlich gegen 1,
und zwar gleichmäßig für alle Vektoren K, bei denen für jedes j von 1
bis s die betragsmäßige Differenz zwischen Kj und N mal Pij höchstens
gleich einer beliebig vorgegebenen positiven konstanten mal der Wurzel
aus N ist.
Ich möchte aber gar nicht so technisch werden, sondern eine wichtige
Botschaft vermitteln.
Fn von K wird genau dann klein, wenn die blau markierte Summe groß
wird.
Somit entsprechen bei großem N kleinen Werten der hypothetischen
Wahrscheinlichkeiten Mn von K große Werte dieser mit Chi-Quadrat N von
K1 bis Ks abgekürzten Summe.
Wie diese Tabelle, die das Beispiel von eben aufgreift, zeigt, ist
diese Entsprechung schon in fast perfekter Form gegeben.
Die Werte M4 von K sind ja von oben nach unten nach Aufsteigen der
Größe geordnet, und die rechte Spalte zeigt eine fast durchgängige
Sortierung der Werte von Chi-Quadrat 4 von K von großen zu kleinen
Werten hin.
Ich nehme einmal diese wichtige Summe Chi-Quadrat N von K auf die
nächste Folie.
Man nennt die Abbildung, die jedem Vektor von möglichen
Trefferanzahlen diese Summe zuordnet, Chi-Quadrat-Testgröße.
Ein sinnvoller kritischer Bereich könnte also von der Gestalt sein,
dass man H0 ablehnt, wenn die Chi-Quadrat-Testgröße ausgerechnet für
vorliegende Daten, also konkreten Trefferanzahlen, mindestens gleich
einem sogenannten kritischen Wert ist, der mit c bezeichnet wird.
Dieser Wert wird aus der mit Alpha bezeichneten vorgegebenen
Wahrscheinlichkeit für einen Fehler erster Art bestimmt.
Um c angeben zu können, müssen wir aber wissen, welche Verteilung
diese mit Tn bezeichnete Zufallsvariable unter H0 besitzt.
Denn die Daten in Form von konkreten Trefferanzahlen sind ja
Realisierungen der Zufallsvariablen x1 bis xs.
Den Erwartungswert von Tn unter H0 kann man schnell angeben.
Da xj diese Binomialverteilung besitzt, ist dieser Erwartungswert nach
Definition die Varianz von xj und damit gleich diesem Ausdruck.
Da der Erwartungswert linear ist, ist der Erwartungswert von Tn unter
H0 gleich der Summe der Erwartungswerte der einzelnen Summanden und da
sich n mal pj im Nenner gegen den Bestandteil n mal pj der Varianz
wegkürzt, bleibt 1 minus pj übrig.
Und da die Summe der pj gleich 1 ist, ergibt sich der Wert s minus 1,
der interessanterweise weder von n noch von den hypothetischen
Wahrscheinlichkeiten abhängt.
An dieser Stelle sei gesagt, dass das für die Varianz von Tn unter H0
nicht mehr gilt.
Die entscheidende Entdeckung von Karl Pearson war nun, dass,
unabhängig vom konkreten Vektor pi hypothetischer
Wahrscheinlichkeiten, die unter H0 berechnete Wahrscheinlichkeit, dass
Tn größer oder gleich einem Wert c ist, gegen dieses uneigentliche
Integral konvergiert.
Dabei ist allgemein für eine natürliche Zahl k, die hierdurch
definierte Funktion fk, die Dichte der sogenannten Chi-Quadrat
-Verteilung mit k Freiheitsgraden.
Zu dieser Verteilung habe ich ein eigenes Video gemacht.
Damit die Aussage im grünen Kästchen nicht nur staunend hingenommen
wird, werde ich gleich eine Beweisskizze dafür angeben.
Wählt man jetzt den kritischen Wert c so, dass er diese Gleichung
erfüllt, so entsteht ein Test mit asymptotischem Niveau Alpha.
Das heißt, die Wahrscheinlichkeit, einen Fehler 1.a zu begehen,
konvergiert für n gegen unendlich gegen Alpha.
Man nennt den Wert c mit dieser Eigenschaft das 1-Alpha-Quantil der
Chi -Quadrat-Verteilung mit s-1 Freiheitsgraden.
Anschaulich kann man sich das so vorstellen, dass dieses Quantil den
Anteil Alpha der Gesamtfläche zwischen der horizontalen Achse und dem
Graphen der Dichte dieser Chi-Quadrat-Verteilung nach rechts hin
abschneidet.
Jetzt zur angekündigten Beweisskizze des Grenzwertsatzes von Karl
Pearson.
Ich habe im Gegensatz zur Folie davor nur größer gleich c durch
kleiner gleich c ersetzt, was die geänderten Integrationsgrenzen 0 und
c zur Folge hat.
Die Wahrscheinlichkeit, dass tn exakt den Wert c annimmt, konvergiert
für n gegen unendlich gegen 0.
Aus höherer Sicht ergibt sich die Erkenntnis von Karl Pearson aus dem
multivariantenzentralen Grenzwertsatz und dem Abbildungssatz.
Aber soweit möchte ich hier technisch nicht ausholen.
Ich definiere zunächst einen s-1-dimensionalen Zufallsvektor vn, der
diese Komponenten besitzt.
Die letzte Trefferart ist redundant, weil die Summe aller
Trefferanzahlen gleich n und damit bekannt ist.
Das hochgestellte t am Ende bedeutet Transposition, vn ist also ein
Spaltenvektor.
Die möglichen Realisierungen von vn bezeichne ich mit vn von K.
Des Weiteren sei eine s-1 kreuz s-1 Matrix A über diese Einträge
definiert.
Dabei bezeichne Delta IJ das Kronecker-Symbol.
Delta IJ ist also gleich 1 für I gleich J und gleich 0 sonst.
Man rechnet nach, dass die Matrix A symmetrisch und positiv definit
ist.
Mit E sei ein Ellipsoid im r hoch s-1 bezeichnet, und zwar ist das die
Menge aller Y, für die die quadratische Form y transponiert Ay kleiner
gleich c ist.
Dann gilt, die uns interessierende Wahrscheinlichkeit ist gleich
dieser Wahrscheinlichkeit.
Hier muss man nur direkt nachrechnen, dass tn gleich vn transponiert A
vn ist.
Nach Definition von En ist das aber die Wahrscheinlichkeit, dass vn
Werte im Ellipsoid E annimmt.
Wir benötigen jetzt diese Approximation der
Multinomialwahrscheinlichkeiten durch fn von K und diese Summe ist
gleich dieser quadratischen Form.
Was ist die Wahrscheinlichkeit, dass vn in die Menge E fällt?
Nun, es ist die Summe aller Multinomialwahrscheinlichkeiten, wobei
sich die Summe über alle K erstreckt, sodass vn von K die für die
Punkt in E geforderte hier stehende Ungleichung erfüllt.
Wir approximieren diese Summe, indem wir mn von K durch fn von K
ersetzen.
Jetzt muss man einige analytische Arbeit hineinstecken, um unter dem
Schlagwort Riemann'sche Näherungssumme zu zeigen, dass diese Summe
gegen dieses Integral über E konvergiert.
Dieses Integral kann man mit einer Cholesky-Zerlegung der Matrix A und
Substitution auf dieses Integral über eine im Ursprung des r hoch s-1
zentrierte Kugel mit Radius Wurzel aus c transformieren.
Der letzte Schritt besteht jetzt darin, dass dieses Integral mithilfe
von allgemeinen Kugelkoordinaten zu dem im grünen Kästchen stehenden
Integral zu vereinfachen.
Diese Transformation habe ich am Ende meines Videos über die Chi
-Quadrat -Verteilung ausführlicher behandelt.
Zum Schluss ein klassisches Beispiel, das die Mendelschen Gesetze
betrifft.
Gregor Mendel beobachtete im Jahre 1865 simultan die Form und die
Farbe von Erbsen.
Nach seiner Theorie sollten sich die Merkmalsausprägungen rundgelb,
rundgrün, kantiggelb und kantiggrün wie 9 zu 3 zu 3 zu 1 verhalten.
Unter insgesamt 556 Erbsen erhielt Mendel diese Anzahlen für die
einzelnen Merkmalskombinationen.
Die Frage ist, ob diese Ergebnisse mit den Vererbungsgesetzen
verträglich sind.
In diesem Fall haben wir also 4 Trefferarten und das sind die
hypothetischen Wahrscheinlichkeiten.
Wir haben also als Treffer 1.
Art rundgelb festgelegt und so weiter.
Mit diesem n und den einzelnen erhaltenen Trefferanzahlen rechnet man
für die Chi-Quadrat-Testgröße den Wert 0,47 aus.
Da das 95%-Quantil der Chi-Quadrat-Verteilung mit 3 Freiheitsgraden
gleich 7,81 ist, wird die Hypothese nicht verworfen.
Die Daten stehen also in einem sehr guten Einklang mit H0.
Der Wert 0,47 ist jedoch verdächtig klein und man kann sich fragen, ob
Mendel seine Daten manipuliert hat.
Wir wissen es nicht.
Zumindest der Chi-Quadrat-Test war damals noch nicht bekannt.
Abschließend sei daran erinnert, dass man im Zusammenhang mit Tests
nichts beweisen kann und keine Hypothese stimmt exakt.
Es kann also nur darum gehen, ob man ein Modell ernsthaft in Zweifel
ziehen kann oder mangels weiterer Daten erstmal damit weiterarbeitet.
Was die Güte der Chi-Quadrat-Verteilungsapproximation betrifft, gibt
es die Faustregel, dass für jedes j das Produkt aus n und pj
mindestens gleich 5 sein sollte.
Ist diese Bedingung nicht erfüllt, kann man grundsätzlich mit Hilfe
eines Computers die H0-Verteilung der Testgröße simulieren und einen
sogenannten Monte-Carlo-Test durchführen.
Das würde uns aber an dieser Stelle zu weit führen.
Und so möchte ich dieses Video mit bestem Dank fürs Anschauen beenden.
Für Hinweise und konstruktive Kritik bin ich wie immer dankbar.