Herzlich willkommen zu diesem Video über die zweidimensionale oder wie
man auch sagt die Bivariate Normalverteilung.
Es wird auch ein Video über die allgemeine Multivariate
Normalverteilung geben, aber der zweidimensionale Fall ist besonders
interessant.
Ich werde diese Verteilung nicht wie üblich über deren Dichte
einführen.
Diese komplizierte Dichte muss man sich ohnehin nicht merken.
Viel wichtiger ist, dass man begriffen hat, wie diese Verteilung
entsteht und diesem Ziel dient die folgende Definition.
Wir starten dazu mit Zufallsvariablen u und v, die stochastisch
unabhängig und je Standard normal verteilt sind.
Realisierungen solcher Zufallsvariablen erhält man sehr einfach über
die Box-Maller-Methode, über die ich ein eigenes Video gemacht habe.
Es seien jetzt µ und µ beliebige reelle Zahlen, σ und τ positive
Zahlen und ρ eine Zahl größer als –1 und kleiner als 1.
Wir werden sehen, dass eine allgemeine, nicht ausgeartete
Normalverteilung fünf Parameter hat und das sind gerade µ, µ, σ, τ und
ρ.
Was der Zusatz nicht ausgeartet bedeutet, werde ich gleich sagen.
Jetzt kommen entscheidende Definitionen.
Wir definieren zunächst eine Zufallsvariable x durch σ mal u plus µ.
Da u Standardnormal verteilt ist, besitzt x eine Normalverteilung mit
Erwartungswert µ und Varianz σ².
x wird die erste Komponente eines bivariantnormal verteilten
Zufallsvektors sein.
Die zweite Komponente taufen wir y.
Auch y wird normalverteilt sein und y wird mehr oder weniger stark von
x abhängen.
Wir starten hierzu mit ρ mal u plus Wurzel aus 1 minus ρ² mal V.
Es geht gleich noch weiter, aber sehen wir uns zunächst die Verteilung
dieser Linearkombination von u und V an.
Da u Standardnormal verteilt ist, hat ρ mal u eine Normalverteilung
mit Erwartungswert 0 und Varianz ρ².
Weil V ebenfalls eine Standardnormalverteilung besitzt, hat Wurzel aus
1 minus ρ² mal V eine Normalverteilung mit Erwartungswert 0 und
Varianz 1 minus ρ².
Da u und V stochastisch unabhängig sind, werden hier zwei
Zufallsvariablen addiert, die stochastisch unabhängig und jeweils
normalverteilt sind.
Nach dem Additionsgesetz für die Normalverteilung hat diese Summe hier
eine Normalverteilung mit Erwartungswert 0 und die Varianz ist die
Summe der Varianzen von ρ mal u und von Wurzel aus 1 minus ρ² mal V,
also ρ² plus 1 minus ρ² und damit gleich 1.
Wenn wir also hier stoppen würden, wäre y Standardnormal verteilt.
Das machen wir aber nicht, sondern wir multiplizieren diese
Zufallsvariable mit τ und addieren ν.
Damit hat y eine Normalverteilung mit Erwartungswert ν und Varianz τ².
Wir kennen also schon die Verteilungen von x und y, aber das
Entscheidende an dieser Definition ist die stochastische Abhängigkeit
zwischen x und y und die liefert der Parameter ρ.
Setzen wir speziell ρ gleich 0, so ist y gleich τ mal V plus ν und
damit sind x und y stochastisch unabhängig, denn x hängt nur von u und
y nur von V ab.
Wenn wir ρ vergrößern, so hängen die Realisierungen von y sowohl von
denjenigen von u und denjenigen von V ab.
Wenn wir ρ gegen den größtmöglichen Wert 1 gehen lassen, geht der
Faktor Wurzel aus 1 minus ρ² vor V gegen 0, sodass die Realisierungen
von y fast komplett durch diejenigen von u bestimmt sind.
Wäre ρ gleich 1, so wäre y gleich τ mal u plus ν und damit eine
Funktion von x, wenn wir eine Zeile darüber das u durch x ausdrücken.
Diesen Fall, der auf eine sogenannte ausgeartete Normalverteilung
führen würde, hatten wir aber ausgeschlossen.
In gleicher Weise wurde der Fall ρ gleich minus 1 ausgeschlossen.
Ist ρ positiv, so gehen zumindest tendenziell große Werte von x mit
großen Werten von y einher, denn ein großer Wert für x bedeutet einen
großen Wert von u und u tritt ja mit einem positiven Vorfaktor auch
bei der Definition von y auf.
In analoger Weise hat ein negativer Wert von ρ zur Folge, dass y
anschaulich gesprochen bei wachsenden Werten von x tendenziell kleiner
wird.
Und dieser Effekt ist um so deutlicher, je näher ρ bei minus 1 ist.
Man nennt die gemeinsame Verteilung von x und y also die Verteilung
des bivariaten Zufallsvektors mit den Komponenten x und y
zweidimensionale Normalverteilung mit Erwartungswertvektor µ, ν und
dieser Kovarianzmatrix.
Wir wissen bereits, dass σ² die Varianz von x und dass τ² die Varianz
von y ist.
Es wird aber auch behauptet, dass dieses ρ mal σ mal τ die Kovarianz
zwischen x und y ist.
Und das werden wir gleich sehen.
Das Schöne an dieser Definition ist, man erkennt nicht nur die
Struktur einer zweidimensionalen Normalverteilung, sondern man kann
auch mit Hilfe eines Computers und der Boxmaller-Methode
Realisierungen von u und v und damit auch Realisierungen von x und y
erzeugen.
Notieren wir zunächst einige Folgerungen aus dieser Definition.
Wir haben gesehen, dass x diese Normalverteilung und y diese
Normalverteilung besitzt.
Damit ist die Bedeutung von µ, ν, σ² und τ² klar.
µ und ν sind die Erwartungswerte von x bzw.
von y und σ² sowie τ² sind die entsprechenden Varianzen.
Sehen wir uns als nächstes die Kovarianz zwischen x und y an.
Nach Definition ist diese Kovarianz gleich diesem Erwartungswert, denn
µ ist der Erwartungswert von x und ν ist der Erwartungswert von y.
Sehen wir uns an, wie x und y mit Hilfe von u und v definiert sind.
So ist x-µ gleich σ·u und y-ν ist gleich diesem Ausdruck hier.
Wenn wir das einsetzen, ergibt sich dieser Erwartungswert.
Wir nutzen jetzt die Additivität der Erwartungswertbildung aus.
Hier steht zunächst σ·u·τ·ρ·u.
Da der Erwartungswert von u² gleich der Varianz von u und damit gleich
1 ist, ist der Erwartungswert dieses Produktes hier gleich σ·τ·ρ.
Es käme theoretisch nur ein Summand hinzu, aber der enthält als Faktor
den Erwartungswert von u·v.
Wegen der stochastischen Unabhängigkeit von u und v ist dieser
Erwartungswert aber gleich dem Produkt der Erwartungswerte von u und
von v und damit gleich 0.
Die Kovarianz zwischen x und y ist also wie in der Kovarianzmatrix
notiert gleich ρ·σ·τ.
Damit ist aber auch die Bedeutung von ρ klar.
ρ ist der pirsensche Korrelationskoeffizient zwischen x und y, denn
dieser ist ja nach Definition gleich der Kovarianz, dividiert durch
das Produkt der Standardabweichungen von x und y, also der Wurzel aus
den jeweiligen Varianzen.
Wir haben auch gesehen, dass im Fall ρ gleich 0 die zufallsvariablen x
und y stochastisch unabhängig sind.
Im Falle einer gemeinsamen Normalverteilung folgt also aus der
Unkorreliertheit von x und y sogar die stochastische Unabhängigkeit
von x und y.
Bei allgemeinen Verteilungen kann man hier nur umgekehrt schließen.
Ich möchte jetzt zeigen, wie man aus obiger Definition von x und y die
gemeinsame Dichte von x und y herleiten kann.
Ich nehme dazu die Definition von x und y als Memo auf die nächste
Folie.
Dazu schreibe ich x und y als Spaltenvektor.
Wenn ich das auch mit u und v sowie mit µ und µ mache, ergibt sich
diese Darstellung, wobei A eine zweireihige Matrix mit diesen
Einträgen ist.
Diese Darstellung vermittelt die klare Botschaft, der Zufallsvektor xy
ist eine affine Transformation des Zufallsvektors uv.
Da u und v stochastisch unabhängig sind, ist die so bezeichnete
gemeinsame Dichte von u und v das Produkt der Dichten zweier
Standardnormalverteilungen und besitzt somit diese Gestalt.
Wir wenden jetzt den Transformationssatz für Lebesgue-Dichten an, über
den ich ein eigenes Video gemacht habe.
Wir benötigen dazu die zu A inverse Matrix und die sieht so aus.
Außerdem ist der Betrag der Determinante von A wichtig und der ist
hier durchgegeben.
Nach dem Transformationssatz für Lebesgue-Dichten besitzt die
gemeinsame Dichte von x und y, und dafür schreibe ich kurz f, diese
Gestalt.
Wenn wir jetzt etwas rechnen, ergibt sich das Argument der gemeinsamen
Dichte von u und v zu diesem Ausdruck.
Jetzt muss man in die gemeinsame Dichte von u und v, für das u hier
oben, diesen oberen Teil einsetzen, dividiert durch diesen Nenner
hier.
Und für das v hier oben muss man entsprechend diesen unteren Teil
einsetzen, auch wiederum dividiert durch diesen Nenner.
Es ergibt sich mit ein wenig Rechnung, dass die gemeinsame Dichte von
x und y folgende Gestalt besitzt.
Zunächst haben wir diesen konstanten Faktor und dann einen Ausdruck
mit e hoch minus etwas und dieses etwas ist ein Bruch mit diesem
Nenner und diesem Zähler.
Wenn man diese Dichte als Definition einer zweidimensionalen
Normalverteilung vorgesetzt bekommt, ist man vielleicht stark
beeindruckt, aber vermutlich auch ziemlich abgeschreckt.
Vor allem liefert diese Definition keinerlei Verständnis für die
Struktur einer zweidimensionalen Normalverteilung.
Und man kann danach nur noch rechnen und etwa die Normalverteilungen
von x und y durch Integration aus dieser Dichte, Stichwort
Marginalverteilungsbildung, gewinnen.
Die Dichte f ist konstant auf Ellipsen, deren Zentrum der Punkt mit
den Koordinaten µ und µµ ist.
Die gemeinsame Dichte von u und v ist nämlich, siehe die Zeile unter
dem Memo, konstant auf Kreisen um den Nullpunkt.
Und bei einer affinen Transformation eines Kreises entsteht eine
Ellipse.
Dabei bewirkt die Addition des Vektors mit den Komponenten µ und µµ im
Memo nur, dass das Zentrum der Ellipse nicht mehr der Ursprung des
Koordinatensystems, sondern der Punkt mit den Koordinaten µ und µµ
ist.
Für die folgenden Illustrationen setze ich speziell µ gleich µ gleich
Null sowie tau gleich 1.
Als Memo notiere ich noch einmal, wie für diesen Spezialfall x und y
als Funktionen von u und v aussehen.
Es ist x gleich Sigma mal u und y ist diese Linearkombination von u
und v.
Für die ersten Beispiele sei Sigma gleich 1 gesetzt, sodass x und y
die gleiche Verteilung besitzen.
Wählen wir u gleich Null, so sind x und y stochastisch unabhängig und
mit Hilfe der Boxmaller Methode habe ich diese 30 Realisierungen des
Zufallsvektors xy erzeugt.
Ich zeichne zusätzlich noch einige Kontur- oder Höhenlinien, also
Konstanzbereiche der Dichte ein, die in diesem Fall Kreise um den
Nullpunkt sind.
Was passiert, wenn wir den Korrelationskoeffizienten rho gleich 0,5
setzen?
Jetzt müssten tendenziell mit größeren Abszissenwerten auch größere
Werte auf der vertikalen Achse einhergehen und wiederum 30
Realisierungen ergeben dieses Bild.
Die Konstanzbereiche der Dichte sind jetzt Ellipsen, deren große
Halbachse einen Winkel von 45° mit der x-Achse bildet.
Im Fall rho gleich 0,9 ist der Effekt, dass größere x-Werte
tendenziell mit größeren y-Werten einhergehen, viel stärker
ausgeprägt.
Meine Simulationen ergeben nämlich dieses Bild und die Ellipsen als
Höhenlinien der Dichte sind jetzt sehr schmal.
Ohne, dass ich hier das ausführe, sei gesagt, dass das Verhältnis von
großer zu kleiner Halbachse der Ellipse gleich der Wurzel aus dem
Verhältnis von größerem zu kleinerem Eigenwert der covariance-Matrix
ist.
Was passiert, wenn wir sigma gleich 1,25 setzen?
Jetzt ist anschaulich die Streuung in x-Richtung etwas größer als
diejenige in y-Richtung und das zeigt sich auch in den folgenden
Plotz.
Setzen wir zunächst wieder rho gleich 0, so ergaben meine Simulationen
diese 30 Punkte und die Konstanzbereiche der Dichte sind solche
Ellipsen.
Im Fall rho gleich 0,5 erhielt ich diese Punktwolke und die
Höhenlinien der Dichte haben diese Gestalt.
Im Fall rho gleich 0,9 ergaben sich diese 30 Punkte und die
Konstanzbereiche der Dichte sind jetzt solche Ellipsen.
Ist rho negativ, so sehen die Plotz analog aus, nur dass jetzt mit
wachsenden x-Werten tendenziell fallende y-Werte einhergehen und die
große Halbachse der entsprechenden Ellipsen jeweils in zweiten und
vierten Quadranten, also anschaulich von links oben nach rechts unten
verläuft.
Es sei betont, dass eine zweidimensionale Normalverteilung nur ein
mathematisches Modell ist, was in einer konkreten Situation, in der
bivariate zufallsbehaftete Daten vorliegen, mehr oder weniger passend
sein kann.
Die Beurteilung der Güte dieses Modells für konkrete Daten ist jedoch
nicht Thema dieses Videos.
Der Vorteil der bivariaten Normalverteilung gegenüber einer
allgemeinen multivariaten Normalverteilung in höheren Dimensionen ist,
dass man sich die Gestalt der Dichte in einem 3D-Plot veranschaulichen
kann.
Ich setze hierzu wie oben µ gleich µ gleich 0 sowie τ gleich 1, sodass
sich x und y in dieser Weise ergeben.
Trägt man in einem x-y-Koordinatensystem die Werte der Dichte nach
oben auf, so ist der Graph von f anschaulich ein Gebirge über der x-y
-Ebene.
Dieses Gebirge korrespondiert zum Fall ρ gleich 0,8 und σ gleich 1,5.
Aufgrund des großen Korrelationskoeffizienten ist es anschaulich
gesprochen recht schmal und lang gestreckt.
Außerdem verläuft der Gebirgsrücken vom 3.
zum 1.
Quadranten.
Wenn wir das Vorzeichen des Korrelationskoeffizienten ändern, ergibt
sich dieses Bild.
Auch jetzt ist das Dichtegebirge schmal und lang gestreckt, aber der
Gebirgsrücken verläuft vom 2.
zum 4.
Quadranten.
Damit sind wir am Ende dieses Videos angekommen.
Ich hoffe, dass Sie mit einer zweidimensionalen Normalverteilung jetzt
nicht nur eine komplizierte Dichte verbinden, sondern eingesehen
haben, wie man eine solche Normalverteilung ganz einfach aus zwei
unabhängigen und je Standard normal verteilten Zufallsvariablen
erzeugen kann.
Ich bedanke mich herzlich fürs Anschauen des Videos und für Hinweise
sowie konstruktive Kritik bin ich wie immer dankbar.