Herzlich willkommen zu diesem Video über Straffheit und relative
Kompaktheit.
Mit Straffheit ist hier keine schlaffe Haut gemeint, die man straffen
möchte, sondern beide Begriffe kennzeichnen jeweils notwendige
Bedingungen für Verteilungskonvergenz.
Und es kann für dieses Video hilfreich sein, wenn man sich mein erstes
Video zur Verteilungskonvergenz angesehen hat.
Wir werden auch sehen, dass beide Begriffe äquivalent sind.
Ohne dass wir bereits Straffheit und relative Kompaktheit definiert
haben, sei betont, dass die Beziehungen zwischen den Begriffen
Verteilungskonvergenz, Straffheit und relative Kompaktheit
Entsprechungen bei reellen Zahlenfolgen haben.
Zur Erinnerung, ist eine Zahlenfolge konvergent, so ist sie
notwendigerweise beschränkt.
Die Eigenschaft der Beschränktheit korrespondiert in der Stochastik
mit der Straffheit, die manchmal auch als stochastische Beschränktheit
bezeichnet wird.
Dann sollte man sich in Erinnerung rufen, dass eine Zahlenfolge genau
dann beschränkt ist, wenn jede Teilfolge eine konvergente Teilfolge
besitzt.
Hier folgt die Richtung von links nach rechts aus dem Satz von Bolzano
-Weierstraß, wonach jede beschränkte Folge mindestens einen
Häufungspunkt besitzt.
Die Rückrichtung beweist man durch Kontraposition.
Wäre die Folge a n nicht beschränkt, so gäbe es ohne Beschränkung der
Allgemeinheit eine Teilfolge, die nach unendlich divergiert.
Diese Teilfolge kann jedoch keine konvergente Teilfolge besitzen.
Ein weiteres Memo enthält die Definition der Verteilungskonvergenz.
Eine Folge xn von Zufallsvariablen auf irgendeinem
Wahrscheinlichkeitsraum konvergiert genau dann in Verteilung gegen
eine Zufallsvariable x, wenn die zugehörige Folge der
Verteilungsfunktionen punktweise gegen die Verteilungsfunktion f von x
konvergiert, wobei diese Konvergenz aber nur für jede
Stetigkeitsstelle von f gelten muss.
Ein letztes Memo zur Notation.
Py steht für die Verteilung einer Zufallsvariable y und für jede
Borellmenge b ist hiermit die Wahrscheinlichkeit aller derjenigen
Elemente des Grundraums Omega, auf dem y definiert ist, gemeint, die
von y in die Menge b abgebildet werden.
Dabei bezeichne das Kalligraphische b die Sigma-Algebra der
Borellmengen über den reellen Zahlen.
Nach diesen Vorbereitungen können wir definieren, was Straffheit ist.
Es sei hierzu Kalligraphisch b eine nicht leere Menge von
Wahrscheinlichkeitsmaßen auf der Borell'schen Sigma-Algebra.
Man nennt diese Menge straff, wenn es zu jedem noch so kleinen
positiven epsilon eine kompakte Teilmenge der reellen Zahlen gibt,
sodass für jedes Wahrscheinlichkeitsmaß q aus dieser Menge die
Ungleichung q von k größer gleich 1 minus epsilon erfüllt ist.
Man beachte, dass die Menge k immer als beschränktes und
abgeschlossenes Intervall gewählt werden kann, denn jede Menge m, die
k enthält, erfüllt natürlich auch diese Ungleichungen mit m anstelle
von k.
Sehen wir uns das Ganze anhand einiger Beispiele an.
Das erste Beispiel ist die Menge aller Dirac-Maße, also aller
Einpunktverteilungen in den Punkten n, wobei n die natürlichen Zahlen
durchläuft.
Diese Menge ist nicht straff, denn ganz egal, wie eine kompakte Menge
k gewählt wird, für genügend großes n liegt n nicht in k und somit ist
dann Δn von k gleich 0.
Das zweite Beispiel betrifft gewissermaßen einen trivialen Fall, denn
jede endliche Menge p ist straff.
Das liegt daran, dass für jedes einzelne Wahrscheinlichkeitsmaß q die
Wahrscheinlichkeit des Intervalls von minus L bis plus L beim
Grenzübergang L gegen unendlich gegen 1 konvergiert.
Somit ist zu gegebenem ε diese Wahrscheinlichkeit für genügend großes
von q abhängendes L größer gleich 1 minus ε.
Wenn nur endlich viele Wahrscheinlichkeitsmaße vorliegen, so wählt man
als kompakte Menge k von diesen endlich vielen symmetrisch um 0
liegenden Intervallen das größte und damit ist die in der Definition
stehende Ungleichung erfüllt.
Beim dritten Beispiel liegt eine Folge von Zufallsvariablen mit
existierenden Erwartungswerten vor, wobei die Erwartungswerte
gleichmäßig beschränkt seien, das heißt es gelte diese Ungleichung.
Behauptet wird, dass dann die Menge der Verteilungen dieser
Zufallsvariablen straff ist.
Für den Beweis sei m eine Zahl, die diesen Ungleichungen genügt.
Für jedes positive c können wir die Wahrscheinlichkeit, dass xn-Betrag
größer als c ist, mithilfe der Markov-Ungleichung in dieser Weise nach
oben abschätzen.
Wir haben diese von n unabhängige obere Schranke und diese ist gleich
einem vorgegebenen ε, wenn wir c als m durch ε ansetzen.
Wählen wir k dann als dieses Intervall, so ist k kompakt und pn von
xk, also die Wahrscheinlichkeit, dass xn betragsmäßig kleiner gleich c
ist, ist für jedes n größer gleich 1-ε.
Somit haben wir die behauptete Straffheit gezeigt.
Als weiteres Beispiel betrachten wir Translationen einer Verteilung.
Hierzu liege eine Zufallsvariable und eine reelle Zahlenfolge vor.
Behauptet wird, dass die Menge der Verteilungen von x plus an, wobei n
die natürlichen Zahlen durchläuft, genau dann straff ist, wenn die
Folge an beschränkt ist.
Warum ist das so?
Sehen wir uns zunächst die Richtung von rechts nach links an.
Wir nehmen an, dass an-Betrag stets kleiner gleich einer Zahl a sei.
Um die behauptete Straffheit zu zeigen, sei ε eine beliebige positive
Zahl.
Zunächst finden wir eine positive Zahl c, sodass diese Ungleichung
erfüllt ist, denn für c gegen unendlich konvergiert ja die
Wahrscheinlichkeit links vom größer Gleichzeichen gegen 1.
Was können wir daraus schließen?
Zunächst drehe ich diese Ungleichung einmal um.
Hier steht die Wahrscheinlichkeit des Ereignisses, dass x größer
gleich minus c und kleiner gleich c ist.
Daraus folgt aber, dass x plus an betragsmäßig kleiner gleich c plus a
ist.
Somit ergibt sich diese Ungleichung, und zwar für jedes n, und damit
ist die behauptete Straffheit gezeigt.
Die umgekehrte Richtung beweisen wir durch Kontraposition und nehmen
dazu an, die Folge an sei unbeschränkt.
Damit gibt es eine Teilfolge, die entweder gegen minus unendlich oder
gegen plus unendlich divergiert.
Wir nehmen ohne Beschränkung der Allgemeinheit den zweiten Fall an,
und wir sparen uns den Übergang zu einer Teilfolge, der nur eine
aufwendigere Notation nach sich zöge.
Für jedes positive c ist die Wahrscheinlichkeit, dass x plus an in das
Intervall von minus c bis c fällt, gleich der Wahrscheinlichkeit, dass
x in dieses Intervall fällt.
Insbesondere ist dann x kleiner gleich c minus an, sodass wir diese
Ungleichung erhalten.
Für n gegen unendlich konvergiert aber diese Wahrscheinlichkeit gegen
0.
Es folgt, dass die Menge der Verteilungen von x plus an nicht straff
ist, denn sonst müsste ja diese Wahrscheinlichkeit hier zu
vorgegebenem y für jedes n größer gleich 1 minus y sein, wenn c nur
genügend groß ist.
Dieses Beispiel motiviert vielleicht die folgende Definition, die nur
ein Synonym für Straffheit liefert.
Man spricht anstelle von Straffheit manchmal auch von stochastischer
Beschränktheit.
Der englische Begriff für Straffheit ist übrigens Tightness.
Wir kommen jetzt zum Begriff der relativen Kompaktheit, dem ich ein
Memo voranstellen möchte.
Sind q, q1, q2 und so weiter Wahrscheinlichkeitsmaße auf der
Borelschen Sigma-Algebra, so konvergiert qn definitionsgemäß in
Verteilung gegen q, wenn die Folge der zugehörigen Verteilungsfunktion
in allen Stetigkeitsstellen der Verteilungsfunktion von q konvergiert.
Das heißt, es gilt diese Konvergenz, denn das hier ist die
Verteilungsfunktion von qn als Funktion von x und das ist die
Verteilungsfunktion von q.
Und diese Konvergenz soll gelten für jedes x, das Stetigkeitsstelle
der Verteilungsfunktion von q ist.
Die relative Kompaktheit ist wie folgt definiert.
Es sei p wie bei der Definition der Straffheit eine nicht leere Menge
von Wahrscheinlichkeitsmaßen.
Diese Menge heißt relativ kompakt, falls folgendes erfüllt ist.
Zu jeder Folge aus p gibt es eine Teilfolge und ein
Wahrscheinlichkeitsmaß q, sodass die Teilfolge in Verteilung gegen q
konvergiert.
Man beachte, dass in dieser Definition nicht verlangt wird, dass q zu
der Menge p gehört.
Es folgt unmittelbar, dass die Verteilungskonvergenz von xn gegen x
die relative Kompaktheit der Menge der Verteilungen der xn nach sich
zieht.
Denn wenn xn in Verteilung gegen x konvergiert, so konvergiert auch
jede Teilfolge gegen x.
Hier ist natürlich das Wahrscheinlichkeitsmaß q in obiger Definition
die Verteilung von x.
Wir werden jetzt sehen, dass in unserer Situation Straffheit und
relative Kompaktheit äquivalente Begriffe sind.
Das heißt, für jede nicht leere Menge p von Wahrscheinlichkeitsmaßen
gilt, dass p genau dann straff ist, wenn p relativ kompakt ist.
Für den Beweis nehme ich das, was wir zeigen müssen, als Memo auf die
nächste Folie.
Wir überlegen uns zunächst, dass aus der Straffheit die relative
Kompaktheit folgt.
In diese Beweisrichtung geht entscheidend der Auswahlsatz von Halley
ein, über den ich ein eigenes Video gemacht habe.
Und dieses Video ist in der Beschreibung zu diesem Video zitiert.
Es sei qn eine beliebige Folge aus p.
Die Verteilungsfunktion von qn bezeichne ich mit fn.
Nach dem Auswahlsatz von Halley gibt es eine Teilfolge fnk und eine
Funktion f, die monoton wachsend und rechtzeitig stetig ist, sodass
fnk von x in jeder Stetigkeitsstelle x von f gegen f von x
konvergiert.
Wir müssen zeigen, dass f eine Verteilungsfunktion ist, dass also f
von x für x gegen minusunendlich gegen 0 und für x gegen unendlich
gegen 1 konvergiert.
Dazu nutzen wir die vorausgesetzte Straffheit aus.
Wegen dieser Straffheit gibt es zu beliebig kleinem positiven Epsilon
Zahlen a und b, sodass qn von diesem halboffenen Intervall von a bis b
größer gleich 1 minus Epsilon ist.
Und zwar für jedes n.
Warum?
Zunächst gibt es ja eine kompakte Menge k mit qn von k größer gleich 1
minus Epsilon für jedes n.
Aber wir können a und b so finden, dass k im halboffenen Intervall von
a bis b enthalten ist.
Der Vorteil des halboffenen Intervalls besteht darin, dass wir diese
Wahrscheinlichkeit als Differenz der Verteilungsfunktion an den
Stellen b und a schreiben können.
Und das gilt wohlgemerkt für jedes n.
Da die Stetigkeitsstellen einer Verteilungsfunktion dicht liegen, gibt
es Stetigkeitsstellen a' und b' von f mit a' kleiner als a und b'
größer als b.
Was können wir nun schließen?
Wir nehmen uns jetzt diese Teilfolge nk her.
Zunächst gilt diese Ungleichung, und zwar für jedes k.
Da das Intervall ab im Intervall a'b' enthalten ist, folgt diese
Ungleichung.
Diese Wahrscheinlichkeit ist gleich dieser Differenz, wobei die
Verteilungsfunktion fnk auftritt.
Wir nutzen jetzt diese Konvergenz hier aus.
Da a' und b' Stetigkeitsstellen von f sind, erhalten wir für k gegen
unendlich diese Konvergenz.
Damit ist f'b'-f'a' größer gleich 1-ε und da ε beliebig war, muss f
eine Verteilungsfunktion sein.
Wenn wir das zu f gehörende Wahrscheinlichkeitsmaß mit q bezeichnen,
so konvergiert folglich qnk in Verteilung gegen q und somit ist p
relativ kompakt.
Wir müssen noch zeigen, dass aus der relativen Kompaktheit die
Straffheit folgt, d.h.
die Richtung aus b folgt a.
Der Beweis erfolgt indirekt.
Wir nehmen an, p sei relativ kompakt, aber nicht straff und wir
zeigen, dass das unmöglich ist.
Wenn p aber nicht straff ist, so gibt es ein positives ε mit der
Eigenschaft, dass es zu jeder kompakten Menge k ein
Wahrscheinlichkeitsmaß q aus p mit der Eigenschaft qk kleiner als 1-ε
gibt.
Das ist gerade die logische Negation der Definition der Straffheit.
Dann gibt es aber eine Folge qn von Wahrscheinlichkeitsmaßen aus p,
sodass diese Ungleichungen erfüllt sind.
Wegen der Voraussetzung der relativen Kompaktheit gibt es eine
Teilfolge qnk sowie ein Wahrscheinlichkeitsmaß q, sodass qnk in
Verteilung gegen q konvergiert.
Wir wählen jetzt Stetigkeitsstellen a und b der Verteilungsfunktion
von q, sodass diese Ungleichung erfüllt ist.
Immer daran denken, die Stetigkeitsstellen liegen dicht.
Ich bezeichne diese Ungleichung mit 1, weil wir sie noch zitieren
werden.
Wir drehen jetzt diese für jedes n geltende Ungleichung um und nutzen
aus, dass sie auch für jedes Glied der Teilfolge erfüllt ist.
Für jedes k gilt somit diese Ungleichung.
Für genügend großes K ist aber das Intervall von a bis b im Intervall
von –nk bis plus nk enthalten und somit folgt diese Abschätzung nach
unten, wohlgemerkt für jedes hinreichend große K.
Bezeichnet fnk die Verteilungsfunktion von qnk, so ist diese
Wahrscheinlichkeit gleich dieser Differenz und diese konvergiert wegen
dieser Verteilungskonvergenz hier gegen f von b minus f von a, wenn f
die Verteilungsfunktion von q bezeichnet.
Diese Differenz ist wiederum gleich q von ab.
Da wir hier mit 1–ε größer als gestartet sind und danach ein größer
Gleich - sowie ein Gleichheitszeichen und ein Konvergenzpfeil folgen,
ist q von ab kleiner gleich 1–ε.
Das ist jedoch ein Widerspruch zur Ungleichung, die in 1 steht.
Damit ist der Beweis beendet.
Ich möchte abschließend noch ein wichtiges Resultat über
Verteilungskonvergenz und Straffheit vorstellen und nehme dazu das
gerade erhaltene Ergebnis auf die nächste Folie.
Es gilt folgender Satz über Straffheit und Verteilungskonvergenz.
Sind x, x1, x2 usw.
reelle Zufallsvariablen, so gelten folgende Aussagen.
a.
Aus der Verteilungskonvergenz von xn gegen x folgt die Straffheit der
Menge der Verteilungen aller xn.
Dieses Resultat ist klar, da aus der Verteilungskonvergenz die
relative Kompaktheit folgt und letztere ist nach dem Memo
gleichbedeutend mit Straffheit.
b.
Teil b ist wichtig für den Nachweis von Verteilungskonvergenz.
Nehmen wir an, wir hätten die Straffheit der Menge der Verteilungen
aller xn gezeigt.
Gibt es dann ein Wahrscheinlichkeitsmaß q, sodass jede Teilfolge von
xn, die überhaupt in Verteilung konvergiert, gegen q konvergiert, so
konvergiert xn in Verteilung gegen q.
Zum Beweis von b bezeichnen wir die Verteilungsfunktion von xn mit fn
und f sei die Verteilungsfunktion von q.
Wir führen den Beweis durch Widerspruch und nehmen an, die Folge xn
konvergieren nicht in Verteilung gegen q.
Das bedeutet, dass es eine Stetigkeitsstelle x von f, ein positives y
sowie eine Teilfolge der Folge fn gibt, sodass diese Ungleichungen
erfüllt sind.
Ich notiere das mal als 2, weil es gleich noch benötigt wird.
Nach Voraussetzung liegt Straffheit der Menge der Verteilungen aller
xn vor und diese überträgt sich auf die Menge der Verteilungen der
Teilfolge.
Nach dem Memo gibt es eine verteilungskonvergente Teilfolge der xnk.
Nach Voraussetzung konvergiert diese Teilfolge in Verteilung gegen q.
Insbesondere müsste dann für die obige Stetigkeitsstelle x von f diese
Konvergenz gelten.
Diese widerspricht aber den in zwei notierten Ungleichungen und damit
ist der Beweis beendet.
Noch eine abschließende Bemerkung.
Straffheit, relative Kompaktheit und Verteilungskonvergenz kann man in
einem sehr allgemeinen Rahmen definieren, etwa wenn die
zufallsvariablen Werte in einem vollständigen separablen metrischen
Raum annehmen.
Auch in diesem Fall sind Straffheit und relative Kompaktheit
äquivalente Begriffsbildungen.
Das ist ein berühmter Satz des russischen Mathematikers Juri
Prokhorow, aber kein Stoff mehr für ein einführendes Video.
Ich bedanke mich herzlich für die Aufmerksamkeit.
Für Hinweise und Kritik bin ich wie immer dankbar.