Ganz herzlich willkommen zu diesem dritten Video über
charakteristische Funktionen.
Heute werden wir sehen, dass diese Funktionen ihre Namensgebung
verdienen, denn die charakteristische Funktion einer Zufallsvariable
legt die Verteilung dieser Zufallsvariablen eindeutig fest.
Vorab als Memo die Definition der mit Phi x bezeichneten
charakteristischen Funktion einer Zufallsvariable x.
Diese Funktion ist für jede reelle Zahl definiert, nimmt komplexe
Zahlen als Werte an und sie ordnet einer reellen Zahl t den
Erwartungswert von e hoch i tx zu.
Zentrales Resultat dieses Videos sind zwei Umkehrformeln.
Ich spare im folgenden den Index x der charakteristischen Funktion
ein.
Es sei also x eine Zufallsvariable mit charakteristischer Funktion
Phi.
Dann gelten folgende Aussagen.
a.
Für beliebige reelle Zahlen a und b mit a kleiner als b gilt.
Dieser Grenzwert für t gegen unendlich, den ich gleich noch etwas
kommentieren werde, ist nichts anderes als ein halb mal die
Wahrscheinlichkeit, dass x den Wert a annimmt, plus die
Wahrscheinlichkeit, dass x in das offene Intervall von a bis b fällt,
plus ein halb mal die Wahrscheinlichkeit, dass x den Wert b annimmt.
Das sieht ziemlich geheimnisvoll aus, nicht nur wegen der beiden
Faktoren ein Halb auf der rechten Seite, sondern auch weil links mit e
hoch minus i t a und e hoch minus i t b komplexe Zahlen stehen und
auch Phi von t kann ja nicht reelle Werte annehmen.
Es ist also auf den ersten Blick überhaupt nicht klar, dass bei diesem
Grenzwert, sofern er überhaupt existiert, eine reelle Zahl
herauskommen soll.
Zum anderen macht das t im Nenner unbehagen, weil ja das
Integrationsintervall die 0 enthält.
Aber man sieht schnell ein, dass der Bruch vor Phi von t für t gegen 0
gegen b minus a konvergiert und somit gibt es diesbezüglich kein
Problem.
Wir werden sehen, dass diese Limes-Beziehung im Wesentlichen aus der
Definition der charakteristischen Funktion, aus dem sogenannten
Dirichlet -Integral sowie aus dem Satz von Fubini und dem Satz von der
dominierten Konvergenz folgt.
Teil b des Satzes besagt, ist der Absolutbetrag der charakteristischen
Funktion integrierbar, so besitzt die Zufallsvariable x eine stetige
beschränkte Dichte bezüglich des Borelle-Beckmaßes und diese Dichte
kann man konkret angeben, denn sie besitzt diese Gestalt.
Diese Gleichung wird oft die Fourier-Umkehrformel für Dicht genannt.
Bevor wir diesen Satz beweisen, können wir aus Teil a eine
unmittelbare Folgerung ziehen, nämlich die Verteilungen zweier
Zufallsvariablen x und y sind genau dann gleich, wenn die zugehörigen
charakteristischen Funktionen gleich sind.
Das ist der sogenannte Eindeutigkeitssatz für charakteristische
Funktionen und er macht die Namensgebung charakteristische Funktion
verständlich.
Warum gilt diese Folgerung?
Entscheidend ist offenbar die Richtung von rechts nach links.
Warum legt die charakteristische Funktion die zugrunde liegende
Verteilung fest?
Nun, es sei f die Verteilungsfunktion von x.
Nehmen wir mal an, dass a und b Stetigkeitsstellen von f sind, dann
sind die Wahrscheinlichkeiten, dass x den Wert a oder den Wert b
annimmt, beide gleich 0.
Somit bleibt auf der rechten Seite in Teil a nur der mittlere Summand
übrig und wir können kleiner b durch kleiner gleich b ersetzen.
Die charakteristische Funktion legt dann für jede Wahl von
Stetigkeitsstellen a und b von f mit a kleiner b die
Wahrscheinlichkeit fest, dass x größer als a und kleiner gleich b ist.
Und diese Wahrscheinlichkeit ist gleich der Differenz f von b minus f
von a.
Lassen wir a eine Folge von Stetigkeitsstellen von f durchlaufen, die
gegen minus unendlich konvergiert, so legt die charakteristische
Funktion für jede Stetigkeitsstelle b von f den Funktionswert f von b
fest.
Da die Stetigkeitsstellen dicht liegen und f rechtzeitig stetig ist,
bestimmt die charakteristische Funktion die Verteilungsfunktion f und
damit die Verteilung von x.
Wir kommen jetzt zum Beweis des Satzes.
Ich werde die wesentlichen Ideen herausarbeiten und an einigen Stellen
wird man vielleicht das Video pausieren und Papier und Bleistift zur
Hand nehmen müssen.
Für positives t bezeichne ich kurz dieses ominöse Integral, dessen
Limes für t gegen unendlich existieren soll mit I von t.
Um weiterzukommen, bleibt uns nichts anderes übrig, als hier die
Definition der charakteristischen Funktion einzusetzen.
Ich belasse also alles bis dahin und jetzt schreibe ich V von t in
dieser Form als Integral bezüglich der mit p hoch x bezeichneten
Verteilung von x.
Natürlich dürfen wir das dt nicht vergessen.
Auch an dieser Stelle gibt es nur eine Möglichkeit, um weitere
Einsichten zu gewinnen.
Wir haben zwei Integrale, ein äußeres bezüglich t und ein inneres bei
festgehaltenem t und das ist bezüglich der Verteilung von x.
Die Frage ist, ob wir die Reihenfolge der Integration vertauschen
dürfen und die Antwort ist ja und zwar aufgrund des Satzes von Fubini.
Dazu beachte man, dass der Betrag dieses Teils des Integranden für
jedes von Null verschiedene t in dieser Form geschrieben werden kann.
Und da e hoch minus it xi Betrag gleich 1 ist, erhalten wir diese von
t unabhängige obere Schranke b minus a und diese wird im Limes für t
gegen Null auch angenommen.
Da das in eckigen Klammern stehende Integral betragsmäßig höchstens
gleich 1 ist und die konstante b minus a über dem Intervall von minus
t bis plus t Lebesgue integrierbar ist, folgt aus dem Satz von Fubini,
dass wir die Integrationsreihenfolge vertauschen dürfen.
Dann haben wir ein äußeres Integral über die gesamte reelle Achse und
beim inneren Integral bezüglich der Verteilung von x haben wir diesen
Vorfaktor und dann ein Integral von minus t bis t.
Wenn wir das zwei Zeilen darüber stehende e hoch minus it a mit dem
rechts davon stehenden e hoch it x zusammenfassen, ergibt sich das
hier Und genauso erhält man mit dem Minuszeichen diesen Ausdruck.
Es fehlen noch die Division durch it und das dt und außen wird
bezüglich der Verteilung von x integriert.
Das innere Integral rechnet man mit der Euler-Formel e hoch it theta
gleich Cosinus theta plus i mal Sinus theta direkt aus.
Die Cosinus-Bestandteile fallen aus Symmetriegründen weg und eine
weitere Symmetrieüberlegung liefert dieses Resultat.
Jetzt wird klar, dass der Grenzwert von i von t für t gegen unendlich,
falls dieser überhaupt existiert, reellwertig sein muss.
An dieser Stelle ist es zweckmäßig eine Abkürzung einzuführen und zwar
sei S von t für jedes nicht negative t dieses Integral über Sinus x
durch x.
Eine Zeile darüber steht zwar das Integral über Sinus von t mal x
minus a dividiert durch t und über Sinus t mal x minus b dividiert
durch t, aber das lässt sich durch Substitution auf die gerade
eingeführte Funktion Groß S zurückführen.
Wie man direkt nachrechnet, lässt sich für jede reelle Zahl theta
dieses Integral in dieser Form ausdrücken.
Das bedeutet, dass wir bis auf den Faktor 1 durch Pi das, was drei
Zeilen darüber innerhalb der eckigen Klammer steht, durch die
Differenz zweier Ausdrücke der Form Signum theta mal S von t mal Theta
-Betrag schreiben können.
Und zwar ist einmal theta gleich x minus a und einmal gleich x minus
b.
Wir machen das sofort, aber vorher nehme ich die Definition der
Funktion S und die letzte Gleichung als Memo auf die nächste Folie.
Wenn wir diesen Quotienten mit g von xt abkürzen, so zeigen unsere
bisherigen Überlegungen, dass I von t diese Darstellung besitzt.
Jetzt kommt der Satz von der dominierten Konvergenz ins Spiel.
Beim Grenzübergang t gegen unendlich haben wir eine Folge von
Integralen.
Können wir zeigen, dass die Folge der Integranten konvergiert und ist
unabhängig von t die Funktion g von xt betragsmäßig durch eine
bezüglich der Verteilung von x integrierbare Majorante beschränkt, so
konvergiert auch die Folge der Integrale.
Eine integrierbare Majorante ist schnell gefunden, denn der Integrant
ist betragsmäßig unabhängig von x und t durch 2 nach oben beschränkt.
Das liegt an der Beschränktheit der Funktion S links im Memo.
Für die Konvergenz des Integranten ist folgendes entscheidend.
S von t konvergiert für t gegen unendlich gegen Pi halbe.
Diesen Sachverhalt findet man unter dem Schlagwort Dirichle-Integral
und ich habe dazu ein eigenes Video gemacht.
Das bedeutet aber für den Zähler von g von xt, ist x von a und b
verschieden, so konvergiert sowohl dieser Term hier als auch dieser
Term für t gegen unendlich gegen Pi halbe.
Und somit kommt es nur noch auf die Vorzeichen von x-a und x-b an.
Ist x gleich a oder x gleich b, so fällt entweder dieser Term oder
dieser Term ersatzlos weg.
Wenn man jetzt die Fälle x kleiner a, x gleich a, a kleiner x kleiner
b, x gleich b und x größer b der Reihe nach durchgeht, folgt, dass der
mit Psi ab von x bezeichnete Grenzwert von g von xt für t gegen
unendlich wie folgt aussieht.
Er ist gleich 0, falls x kleiner als a oder größer als b ist.
Und er ist gleich 1 halb, falls x gleich a oder x gleich b gilt.
Schließlich ist er gleich 1, falls x im offenen Intervall von a bis b
liegt.
Aus dem Satz von der dominierten Konvergenz folgt jetzt, dass unser
gesuchter Grenzwert gleich diesem Integral ist und das ist aufgrund
der Gestalt von Psi ab genau das, was wir zeigen müssen, nämlich 1
halb mal p von x gleich a plus 1 halb mal p von x gleich b plus die
Wahrscheinlichkeit a kleiner x kleiner b.
Um Teil b des Satzes zu beweisen, notiere ich noch einmal, was zu
zeigen ist.
Unter dieser Bedingung, so wird behauptet, hat x diese stetige und
beschränkte Dichte.
Sehen wir uns den Beweis an.
Die Funktion f ist beschränkt, denn der Integrant eine Zeile darüber
ist betragsmäßig höchstens gleich phi-von-t-Betrag und das Integral
über diesem Betrag ist nach Voraussetzung endlich.
Um die Stetigkeit von f zu zeigen, untersuchen wir für beliebig reelle
Zahlen x und y diese betragsmäßige Differenz.
Die können wir mithilfe der Betragsumgleichung für Integrale in dieser
Weise nach oben abschätzen.
Lassen wir y gegen x konvergieren, so konvergiert der Integrant gegen
0.
Der Integrant ist aber unabhängig von y durch 2 mal phi-von-t-Betrag
nach oben beschränkt.
Aufgrund der im Memo stehenden Voraussetzung liefert jetzt der Satz
von der dominierten Konvergenz die Stetigkeit von f an der Stelle x.
Da x beliebig war, ist f auf ganz R stetig.
Wir müssen noch zeigen, dass f eine Dichte von x ist und betrachten
dazu für beliebige reelle Zahlen a und b mit a kleiner als b das
Integral von f in den Grenzen von a bis b.
Wenn wir für f von x die im Memo stehende Darstellung einsetzen,
ergibt sich dieses Gleichheitszeichen.
Aufgrund der Voraussetzung im Memo ist auch hier der Satz von Fubini
anwendbar und Vertauschen der Integrationsreihenfolge liefert diese
Darstellung.
Wir schreiben das Integral von minus-unendlich bis unendlich als
diesen Grenzwert und wenn man das in eckigen Klammern stehende
Integral ausrechnet, ergibt sich dieser Ausdruck.
Was noch bleibt ist phi-von-t-dt.
Diesen Grenzwert haben wir aber in Teil a bestimmt und dieses Ergebnis
erhalten.
Da f eine stetige Funktion ist, folgt, dass f nur reelle Werte
annimmt.
Außerdem nimmt x jeden Wert t nur mit der Wahrscheinlichkeit 0 an.
Damit ist aber für jedes beschränkte Intervall a, b, ganz egal ob es
offen, abgeschlossen oder halboffen ist, die Wahrscheinlichkeit, dass
x in dieses Intervall fällt, gleich dem Integral von f über dieses
Intervall.
Also hat x die Lebeck-Dichte f und das war zu zeigen.
Ich möchte abschließend noch zwei Anwendungen des Eindeutigkeitssatzes
vorstellen.
Die erste betrifft die Charakterisierung der Verteilungen, die
symmetrisch um 0 sind.
Für jede Zufallsvariable x gilt, x hat die gleiche Verteilung wie –x
genau dann, wenn die charakteristische Funktion von x ausschließlich
reelle Werte annimmt.
Der Beweis ist denkbar einfach und er folgt aus der Darstellung der
charakteristischen Funktion von –x.
Nach Definition ist das hier der Erwartungswert von e hoch it –x, also
der Erwartungswert von e hoch –itx.
Das ist aber die zu phi x von t konjugiert komplexe Zahl.
Besitzt x die gleiche Verteilung wie –x, so hat x auch die gleiche
charakteristische Funktion wie –x.
Also gilt phi x von t gleich phi –x von t gleich phi x von t quer und
damit ist phi x von t reellwertig.
Ist umgekehrt phi x von t für jedes t reellwertig, so gilt phi x von t
quer gleich phi x von t und somit haben x und –x die gleiche
charakteristische Funktion.
Nach dem Eindeutigkeitssatz haben x und –x dann auch die gleiche
Verteilung, was zu zeigen war.
Die zweite Anwendung betrifft Additionsgesetze für Verteilungen.
Sind x und y stochastisch unabhängige Zufallsvariablen, so gelten
folgende Aussagen.
a.
Besitzen x und y jeweils eine Normalverteilung, so hat auch die Summe
eine Normalverteilung, wobei sich die Erwartungswerte und die
Varianzen jeweils addieren.
b.
Eine sinngemäß gleiche Aussage gilt für zwei Zufallsvariablen mit
Poissonverteilung.
c.
Und auch bei zwei binomialverteilten Zufallsvariablen mit gleichem
Parameter p gilt ein Additionsgesetz.
Diese Additionsgesetze kann man auf verschiedene Art beweisen, etwa
mit der Faltungsformel oder im Fall b und c mit Hilfe erzeugender
Funktion.
Sie ergeben sich aber auch unmittelbar aus der Multiplikationsformel
und dem Eindeutigkeitssatz.
Sehen wir uns das einmal für Teil a an.
Wie wir im zweiten Video gesehen haben, besitzt die charakteristische
Funktion von x diese Gestalt und die charakteristische Funktion von y
sieht so aus.
Dabei habe ich die jeweiligen Parameter farblich hervorgehoben.
Nach der Multiplikationsformel ist die charakteristische Funktion von
x plus y gleich dem Produkt dieser beiden Funktionen und sieht damit
so aus.
Das ist aber die charakteristische Funktion einer Normalverteilung mit
Erwartungswert µ plus µ und Varianz σ² plus τ².
Da es aufgrund des Eindeutigkeitssatzes keine andere Verteilung mit
dieser charakteristischen Funktion geben kann, besitzt x plus y diese
Normalverteilung.
Ganz analog beweist man Teil b und Teil c.
Damit sind wir am Ende dieses Videos angekommen.
Im nächsten Video wird es um eine sogenannte Konzentrationsungleichung
gehen, die im Zusammenhang mit Verteilungskonvergenz wichtig ist.
Ich bedanke mich herzlich für die Aufmerksamkeit.
Für Hinweise und konstruktive Kritik bin ich natürlich wie immer dankbar.