0% fanden dieses Dokument nützlich (0 Abstimmungen)

6 Ansichten210 Seiten

WTSkript

Das Dokument ist ein Vorlesungsskript über Wahrscheinlichkeitstheorie, das grundlegende Konzepte wie Wahrscheinlichkeitsräume, Zufallsgrößen, Erwartungswerte und stochastische Prozesse behandelt. Es umfasst verschiedene Themen von diskreten Wahrscheinlichkeitsräumen bis hin zu Maßtheorie und Markovketten und dient als Einführung in die Wahrscheinlichkeitstheorie an Universitäten. Die Inhalte sind in mehrere Kapitel unterteilt, die systematisch die Theorie und ihre Anwendungen darstellen.

Hochgeladen von

Pol rku

Wir nehmen die Rechte an Inhalten ernst. Wenn Sie vermuten, dass dies Ihr Inhalt ist, beanspruchen Sie ihn hier.

Verfügbare Formate

Als PDF, TXT herunterladen oder online auf Scribd lesen

0% fanden dieses Dokument nützlich (0 Abstimmungen)

6 Ansichten210 Seiten

WTSkript

Hochgeladen von

Pol rku

Wir nehmen die Rechte an Inhalten ernst. Wenn Sie vermuten, dass dies Ihr Inhalt ist, beanspruchen Sie ihn hier.

Verfügbare Formate

Als PDF, TXT herunterladen oder online auf Scribd lesen

WAHRSCHEINLICHKEITSTHEORIE I und II

Wolfgang König

TU Berlin und WIAS Berlin

Vorlesungsskript
SS 2005 und WS 2005/06
überarbeitet im WS 2008/09
kleine Korrekturen im März und Juli 2012 und im März 2013
2

Version vom März 2013

Inhaltsverzeichnis

1 Diskrete Wahrscheinlichkeitsräume 3
1.1 Grundbegriffe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Urnenmodelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3 Weitere Beispiele von Verteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2 Bedingte Wahrscheinlichkeit und Unabhängigkeit 13

2.1 Bedingte Wahrscheinlichkeiten . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2 Unabhängigkeit von Ereignissen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3 Produkträume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

3 Zufallsgrößen, Erwartungswerte und Varianzen 21

3.1 Zufallsgrößen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.2 Unabhängigkeit von Zufallsgrößen . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.3 Erwartungswerte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.4 Varianzen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.5 Kovarianzen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.6 Faltungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.7 Erzeugende Funktionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

4 Wahrscheinlichkeit mit Dichten 41

4.1 Grundbegriffe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.2 Übertragung der bisherigen Ergebnisse . . . . . . . . . . . . . . . . . . . . . . . . 42
4.3 Beispiele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.4 Der Poisson-Prozess . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

5 Grenzwertsätze 55
5.1 Das Gesetz der Großen Zahlen . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
5.2 Der Zentrale Grenzwertsatz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58

6 Maßtheorie 63
6.1 σ-Algebren und Maße . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

i
ii INHALTSVERZEICHNIS

6.2 Konstruktion von Maßen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

6.3 Verteilungsfunktionen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
6.4 Messbare Abbildungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
6.5 Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
6.6 Bildmaße und Dichten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
6.7 Die Lp -Räume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
6.8 Die fundamentalen Konvergenzsätze . . . . . . . . . . . . . . . . . . . . . . . . . 84
6.9 Produkte messbarer Räume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
6.10 Produktmaße . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

7 Die allgemeine Wahrscheinlichkeitstheorie 93

7.1 Grundlegende Begriffe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
7.2 Unabhängigkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
7.3 Bedingte Erwartungswerte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

8 Konvergenzbegriffe 115
8.1 Konvergenz von Zufallsgrößen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
8.2 Schwache Konvergenz und der Satz von Prohorov . . . . . . . . . . . . . . . . . . 122
8.3 Charakteristische Funktionen und der Zentrale Grenzwertsatz . . . . . . . . . . . 132

9 Markovketten 143
9.1 Definition und einfache Eigenschaften . . . . . . . . . . . . . . . . . . . . . . . . 143
9.2 Beispiele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
9.3 Klasseneigenschaften, Rekurrenz, Transienz . . . . . . . . . . . . . . . . . . . . . 148
9.4 Stoppzeiten und die starke Markov-Eigenschaft . . . . . . . . . . . . . . . . . . . 153
9.5 Gleichgewichtsverteilungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
9.6 Konvergenz gegen die Gleichgewichtsverteilung . . . . . . . . . . . . . . . . . . . 160
9.7 Reversible Markovketten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

10 Stochastische Prozesse 165

10.1 Konstruktion stochastischer Prozesse . . . . . . . . . . . . . . . . . . . . . . . . . 165
10.2 Stationäre Prozesse und der Ergodensatz . . . . . . . . . . . . . . . . . . . . . . . 173

11 Irrfahrten und die Brownsche Bewegung 183

11.1 Die einfache Irrfahrt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
11.2 Konstruktion der Brown’schen Bewegung . . . . . . . . . . . . . . . . . . . . . . 188

Literatur 197

Index 199
Vorwort

Dies ist das Vorlesungsskript zu zwei vierstündigen einführenden Vorlesungen über Wahrschein-
lichkeitstheorie, gehalten an der Universität Leipzig 2005/06 und 2008/09 sowie an der Tech-
nischen Universität Berlin 2012/13. Es werden die grundlegenden Begriffe motiviert und ent-
wickelt, wie Wahrscheinlichkeitsräume, Zufallsgrößen, Erwartungswert und Varianz, bedingte
Wahrscheinlichkeiten und Erwartungswerte, Unabhängigkeit, Konvergenzbegriffe, stochastische
Prozesse und vieles mehr. Ein Steilkurs stellt die benötigten maßtheoretischen Konzepte und
Hilfsmittel zusammen. Ferner werden viele der wichtigen Verteilungen und ihre Einsatzgebiete
und Beziehungen unter einander vorgestellt. Auch fundamentale stochastische Prozesse wie die
einfache Irrfahrt, der Poisson-Prozess, Markovketten, stationäre Prozesse und die Brown’sche
Bewegung werden eingeführt und untersucht.
In den ersten Kapiteln beschränken wir uns auf diskrete Wahrscheinlichkeitsräume und ler-
nen die wichtigen diskreten Verteilungen kennen. Sodann behandeln wir Wahrscheinlichkeiten
mit Dichten und wichtige Beispiele. Anschließend bringen wir den Begriff des allgemeinen Wahr-
scheinlichkeitsraums unter Verwendung von Maßtheorie. Dazu tragen wir zunächst die grundle-
genden Begriffe und Konzepte der Maßtheorie zusammen, um dann die allgemeine Wahrschein-
lichkeitstheorie zu präsentieren und auszubauen, womit ungefähr der Stoff der ersten der beiden
Vorlesungen endet.
In der zweiten Vorlesung behandeln wir Unabhängigkeit, bedingte Erwartungswerte, diver-
se Konvergenzbegriffe und ihre Beziehungen untereinander (einschließlich des Zentralen Grenz-
wertsatzes und des Satzes von Prohorov), Markovketten, allgemeine stochastische Prozesse in
diskreter Zeit, stationäre Prozesse und den Ergodensatz sowie die Konstruktion der Brown’schen
Bewegung mit Hilfe des Satzes von Donsker.
Das vorliegende Skript wurde natürlich aus mehreren verschiedenen Quellen gespeist, die
man nicht mehr alle im Einzelnen zurück verfolgen kann. Die Lehrbücher, die den meisten
Einfluss auf die Gestaltung des ersten Teils dieses Skriptes hatten, sind die viel benutzten klas-
sischen Texte [Kr02] von U. Krengel und [Ge02] von H.-O. Georgii, ferner das Lehrbuch [Kl06]
von A. Klenke. Es sind auch Hinweise meiner Kollegen N. Gantert und A. Klenke eingeflossen,
denen ich hiermit dafür danke. In der Überarbeitung vom Wintersemester 2008/09 korrigierte
ich ein paar Fehler, verbesserte stellenweise die Präsentation und fügte manche Erläuterungen
und Übungsaufgaben hinzu. Im März 2012 trug ich etliche kleine Korrekturen ein, die mir dan-
kenswerter Weise Albert Haase und Jonka Hähnel übermittelten. Frau Leili Riazy steuerte net-
terweise die Illustration zu Beispiel 5.2.6 bei. Weitere kleinere Korrekturen und Verbesserungen
erfolgten im Juli 2012 und im März 2013 nach dem Abhalten der Vorlesung.

Berlin, im März 2013

1
Kapitel 1

Diskrete Wahrscheinlichkeitsräume

In diesem Abschnitt führen wir die grundlegenden Begriffe der diskreten Wahrscheinlichkeits-
theorie ein, das heißt der Theorie der Wahrscheinlichkeiten auf höchstens abzählbar unendlich
großen Mengen. Wir geben eine Auswahl an Beispielen und sammeln Eigenschaften dieses Kon-
zeptes.

1.1 Grundbegriffe
Wir beginnen mit einem einführenden Beispiel.

Beispiel 1.1.1. Wir würfeln mit zwei fairen1 Würfeln. Wie groß ist die Wahrscheinlichkeit, dass
die Augensumme nicht kleiner als zehn ist?
Es bieten sich (mindestens) zwei Möglichkeiten der Problemlösung an. Wir können zum
Beispiel ansetzen, dass jedes Element aus Ω = {1, 2, . . . , 6}2 (das ist die Menge aller Zahlenpaare
mit Koeffizienten zwischen 1 und 6) die selbe Wahrscheinlichkeit besitzt (also 1/36), wobei wir
ein solches Paar identifizieren als die Ergebnisse der beiden Würfel. (Wir behandeln also die
beiden Würfel als unterscheidbar, obwohl davon sicher die gesuchte Wahrscheinlichkeit nicht
abhängen wird.) Dann zählen wir die günstigen Elementarereignisse, also diejenigen Paare, die
das gesuchte Ereignis realisieren. Wir kommen auf die sechs Paare (4, 6), (5, 5), (5, 6), (6, 4), (6, 5)
und (6, 6). Also antworten wir, dass die gesuchte Wahrscheinlichkeit gleich 6/36 sei, also 1/6.
Eine zweite Möglichkeit ist, die Menge Ω = {2, 3, 4, . . . , 12} von möglichen Augensummen
zu betrachten. Allerdings müssen wir beachten, dass diese elf Elementarereignisse nicht gleich
wahrscheinlich sind. Zum Beispiel hat die 2 die Wahrscheinlichkeit 1/36, und die 3 hat die Wahr-
scheinlichkeit 1/18. Nun müssen wir also die Wahrscheinlichkeiten der 10, 11 und 12 ermitteln
und sie addieren, um die gesuchte Wahrscheinlichkeit zu erhalten. Die 10 hat die Wahrscheinlich-
keit 1/12, denn es gibt drei Möglichkeiten, die Summe 10 zu würfeln. Die 11 und die 12 haben die
Wahrscheinlichkeiten 2/36 bzw. 1/36. Eine Addition ergibt, dass die gesuchte Wahrscheinlichkeit
gleich 1/6 beträgt, also das selbe Ergebnis wie oben. 3

Das zu Grunde liegende Konzept fassen wir wie folgt zusammen. Mit P(Ω) bezeichnen wir
die Potenzmenge einer Menge Ω, also die Menge aller Teilmengen von Ω.
1
Mit einem ‘fairen’ Würfel meinen wir einen idealisierten, der jedes der sechs Ergebnisse mit der selben Wahr-
scheinlichkeit 61 ausgibt.

3
4 KAPITEL 1. DISKRETE WAHRSCHEINLICHKEITSRÄUME

Definition 1.1.2 (diskreter Wahrscheinlichkeitsraum). Ein diskreter Wahrscheinlichkeitsraum

ist ein Tupel (Ω, p), bestehend aus einer endlichen oder höchstens abzählbar unendlichen Menge
Ω und einer Abbildung p : Ω → [0, 1] mit der Eigenschaft
X
p(ω) = 1.
ω∈Ω

Wir nennen Ω den Ereignisraum, seine Elemente die Elementarereignisse, seine Teilmengen
die Ereignisse und die p(ω) die Einzelwahrscheinlichkeiten.
Die Abbildung P : P(Ω) → [0, 1], definiert durch
X
P(A) = p(ω) für alle A ⊂ Ω,
ω∈A

heißt das von den Einzelwahrscheinlichkeiten induzierte Wahrscheinlichkeitsmaß. Man spricht

auch von einer Verteilung P auf Ω.

P
Da alle Einzelwahrscheinlichkeiten nicht negativ sind, spielt in dem Ausdruck ω∈Ω p(ω) die
Reihenfolge
Pn der Summanden keine Rolle. Genau genommen handelt es sich um den Grenzwert
limn→∞ i=1 p(ωi ), wobei ω1 , ω2 , . . . eine Abzählung von Ω ist.
Der ersten Lösung im Beispiel 1.1.1 lag also der Wahrscheinlichkeitsraum (Ω, p) mit Ω =
1
{1, 2, . . . , 6}2 und p(ω) = 36 für jedes ω ∈ Ω zu Grunde.

Beispiel 1.1.3 (Gleichverteilung, Laplace-Verteilung). Der einfachste Wahrscheinlichkeitsraum

auf einer endlichen Menge Ω ist der, wo alle Einzelwahrscheinlichkeiten identisch sind, also
p(ω) = 1/|Ω|, wobei |Ω| die Kardinalität von Ω bezeichnet, also die Anzahl der Elemente in Ω.
Die zugehörige Verteilung P heißt die Gleichverteilung oder Laplace-Verteilung. 3

Der Begriff des Wahrscheinlichkeitsraums in Definition 1.1.2 ist ein Spezialfall eines allge-
meinen und fundamentalen Konzepts, das erst in Kapitel 7 behandelt werden wird. Die funda-
mentalen Eigenschaften des Wahrscheinlichkeitsmaßes P in Definition 1.1.2 sind die folgenden.

Bemerkung 1.1.4 (Kolmogorov’sche Axiome). Sei (Ω, p) ein diskreter Wahrscheinlichkeits-

raum. Das Wahrscheinlichkeitsmaß P hat die beiden Eigenschaften
(i) P(Ω) = 1 (Normierung),

(ii) für alle Folgen (Ai )i∈N von paarweise disjunkten2 Ereignissen gilt
[ X
P Ai = P(Ai ) (abzählbare Additivität).
i∈N i∈N

Die Gültigkeit dieser beiden Eigenschaften ist evident. 3

Diese “Axiome” sind für uns also Folgerungen aus Definition 1.1.2. In allgemeinerem Rahmen
(siehe Kapitel 7) fordert man sie üblicherweise als Axiome, muss aber zunächst definieren, was
Ereignisse sein sollen. Es ist leicht zu sehen, dass jede endliche oder höchstens abzählbare Menge
2
Wir nennen Ereignisse Ai mit i ∈ I paarweise disjunkt, wenn Ai ∩ Aj = ∅ für alle i, j ∈ I mit i 6= j.
1.1. GRUNDBEGRIFFE 5

Ω, auf deren Potenzmenge eine Abbildung P definiert ist, die den Kolmogorov’schen Axiomen
genügt, durch die Definition
p(ω) = P({ω}) für ω ∈ Ω
zu einem diskreten Wahrscheinlichkeitsraum (Ω, p) gemacht wird.
Wir sprechen also von Teilmengen von Ω als von Ereignissen. Wir listen die wichtigsten
gängigen Sprechweisen für Ereignisse und ihre Entsprechung in der mathematischen Mengen-
schreibweise auf:
Sprache der Ereignisse Mengenschreibweise
A, B und C sind Ereignisse A, B, C ⊂ Ω
A und B A∩B
A oder B A∪B
nicht A Ac = Ω \ A
A und B schließen sich aus A∩B =∅
A impliziert B A⊂B

Lemma 1.1.5 (Eigenschaften von Wahrscheinlichkeitsmaßen). Sei (Ω, p) ein diskreter Wahr-
scheinlichkeitsraum, dann hat das zugehörige Wahrscheinlichkeitsmaß P die folgenden Eigen-
schaften:
(a) P(∅) = 0,

(b) A ⊂ B =⇒ P(A) ≤ P(B) für alle Ereignisse A und B,

(c) P(A ∪ B) + P(A ∩ B) = P(A) + P(B) für alle Ereignisse A und B,

S P
(d) P( i∈N Ai ) ≤ i∈N P(Ai ) für alle Folgen (Ai )i∈N von Ereignissen,

(e) Falls für eine Folge (Ai )i∈N von Ereignissen und ein Ereignis A gilt:3 Ai ↓ A oder Ai ↑ A,
so gilt limi→∞ P(Ai ) = P(A).

Beweis. Die Beweise von (a) - (d) sind Übungsaufgaben. Der Beweis von (e) geht wie folgt.
Falls Ai ↑ A, so ist A gleich der disjunkten Vereinigung der Mengen Ai \ Ai−1 mit i ∈ N (wobei
wir A0 = ∅ setzen), und daher gilt nach Bemerkung 1.1.4:
∞
[ X∞ n
X
P(A) = P (Ai \ Ai−1 ) = P(Ai \ Ai−1 ) = lim P(Ai \ Ai−1 ) = lim P(An ).
n→∞ n→∞
i=1 i=1 i=1

Der Beweis der Aussage unter der Voraussetzung Ai ↓ A ist eine Übungsaufgabe.

Beispiel 1.1.6. Wir betrachten ein Kartenspiel mit 2n Karten, darunter zwei Jokern. Wir bilden
zwei gleich große Stapel. Wie groß ist die Wahrscheinlichkeit, dass sich beide Joker im selben
Stapel befinden?
Wir benutzen den Wahrscheinlichkeitsraum (Ω, p) mit

1 1
Ω = (i, j) ∈ {1, 2, . . . , 2n}2 : i 6= j

und p((i, j)) = = .
|Ω| 2n(2n − 1)
3 T
Wir schreiben Ai ↓ A für i → ∞, falls Ai+1 ⊂ Ai für jedes i und i∈N Ai = A. Analog ist Ai ↑ A definiert.
6 KAPITEL 1. DISKRETE WAHRSCHEINLICHKEITSRÄUME

Wir interpretieren i und j als die Plätze der beiden Joker im Kartenspiel. Die Plätze 1 bis n
gehören zum ersten Stapel, die anderen zum zweiten. Also betrachten wir das Ereignis

A = (i, j) ∈ Ω : i, j ≤ n ∪ (i, j) ∈ Ω : i, j ≥ n + 1 .

Man sieht leicht, dass A genau 2n(n − 1) Elemente besitzt. Also ist P(A) = n−1
2n−1 . 3

Die folgende Formel (Beweis als Übungsaufgabe) führt die Wahrscheinlichkeit einer Ver-
einigung auf kombinatorische Weise auf eine Summe von Wahrscheinlichkeiten von Schnitten
zurück.

Lemma 1.1.7 (Sylvester’sche Siebformel, Einschluss-Ausschlussprinzip). Sei (Ω, p) ein diskreter

Wahrscheinlichkeitsraum und P das zugehörige Wahrscheinlichkeitsmaß. Dann gilt für jedes
n ∈ N und alle Ereignisse A1 , . . . , An die Formel
n
[ n
X X
(−1)k−1

P Ai = P Ai1 ∩ · · · ∩ Aik .
i=1 k=1 1≤i1 <···<ik ≤n

Diese Siebformel wendet man typischer Weise auf Probleme der folgenden Art an.

Beispiel 1.1.8 (Zufällige Permutationen). Wir betrachten die Gleichverteilung P auf der Menge
Ω = SN aller Permutationen von 1, . . . , N , also p(σ) = 1/N ! = 1/(1 · 2 · 3 · · · · · N ) für jede Per-
mutation σ (lies N ! als ‘N Fakultät’). Ein Fixpunkt einer Permutation σ ist ein i ∈ {1, . . . , N }
mit σ(i) = i. Als Übungsaufgabe berechne man die Wahrscheinlichkeit, dass eine zufällige Per-
mutation genau k Fixpunkte besitzt. Wie verhält sich diese Wahrscheinlichkeit für N → ∞?
3

1.2 Urnenmodelle
Im Folgenden geben wir eine Liste von wichtigen Beispielen von Laplace-Räumen (siehe Bei-
spiel 1.1.3), die von Urnenmodellen her rühren. Dabei werden einige sehr wichtige Formeln der
elementaren Kombinatorik motiviert und hergeleitet.

Beispiel 1.2.1 (Urnenmodelle). Es sei eine Urne gegeben, in der N Kugeln mit den Aufschriften
1, 2, . . . , N liegen. Wir ziehen nun n Kugeln aus der Urne. Es stellt sich die Frage, wieviele unter-
schiedliche Ergebnisse wir dabei erhalten können. Ein Ergebnis ist hierbei ein Tupel (k1 , . . . , kn )
in {1, . . . , N }n , wobei ki dafür stehen soll, dass in der i-ten Ziehung die Kugel mit der Nummer
ki gezogen wird.
Die Antwort auf diese Frage hängt stark davon ab, ob wir die einzelnen Ziehungen mit oder
ohne zwischenzeitlichem Zurücklegen durchführen und ob wir Ergebnisse als unterschiedlich
ansehen wollen, wenn sie sich nur in der Reihenfolge unterscheiden. Sei M = {1, . . . , N }.
(I) mit Zurücklegen, mit Reihenfolge. Wir legen also nach jeder Ziehung die gezogene Kugel
jeweils wieder in die Urne zurück, und wir betrachten die Ziehung unterschiedlicher Kugeln in
unterschiedlicher Reihenfolge als unterschiedlich. Als Modell bietet sich die Menge

ΩI = Mn = {(k1 , . . . , kn ) : k1 , . . . , kn ∈ M},

die Menge aller n-Tupel mit Koeffizienten aus M, an. Es ist klar, dass |ΩI | = N n .
1.2. URNENMODELLE 7

(II) ohne Zurücklegen, mit Reihenfolge. Hier legen wir zwischendurch keine gezogenen
Kugeln zurück, insbesondere müssen wir voraussetzen, dass n ≤ N . Ein geeignetes Modell ist

ΩII = {(k1 , . . . , kn ) ∈ Mn : k1 , . . . , kn ∈ M paarweise verschieden}.

Die Anzahl der Elemente von ΩII ist leicht aus der folgenden Argumentation als
N!
|ΩII | = N (N − 1)(N − 2) · · · · · (N − n + 1) =
(N − n)!
zu ermitteln: Bei der ersten Ziehung haben wir N Kugeln zur Auswahl, bei der zweiten nur noch
N − 1 und so weiter. Jede dieser insgesamt n Ziehungen führt zu einem anderen n-Tupel.

(III) ohne Zurücklegen, ohne Reihenfolge. Hier legen wir keine gezogenen Kugeln zurück,
und uns interessiert zum Schluss nicht, in welcher Reihenfolge wir die n Kugeln gezogen haben.
Also empfiehlt sich die Grundmenge

ΩIII = {A ⊂ M : |A| = n} = {{k1 , . . . , kn } ⊂ M : k1 , . . . , kn paarweise verschieden},

die Menge der n-elementigen Teilmengen von M. Die Kardinalität von ΩIII kann man ermitteln,
indem man sich überlegt, dass die Menge ΩII alle Teilmengen aus ΩIII genau n! Mal auflistet,
nämlich als Tupel in sämtlichen möglichen Reihenfolgen. Also gilt

|ΩII | N! N
|ΩIII | = = = .
n! (N − n)!n! n

Den Ausdruck N

n liest man ‘N über n’, er wird Binomialkoeffizient genannt. Eine seiner wich-
tigsten Bedeutungen ist, dass er die Anzahl der n-elementigen Teilmengen einer N -elementigen
Menge angibt.

(IV) mit Zurücklegen, ohne Reihenfolge. Wir legen also die jeweils gezogene Kugel nach
jeder Ziehung zurück, und am Ende ordnen wir die Aufschriften der gezogenen Kugeln und
zählen, wie oft wir welche gezogen haben. In einer gewissen Abwandlung bedeutet also ki nicht
mehr die Aufschrift der Kugel, die wir als i-te gezogen haben, sondern die i-t kleinste Aufschrift,
die wir gezogen haben. Dies legt die Grundmenge

ΩIV = {(k1 , . . . , kn ) ∈ Mn : k1 ≤ k2 ≤ · · · ≤ kn },

nahe, die Menge der n-Tupel in nichtabsteigender Reihenfolge. Zur Ermittlung der Kardinalität
verwenden wir einen kleinen Trick. Wir betrachten die Abbildung (k1 , . . . , kn ) 7→ (k10 , . . . , kn0 )
mit ki0 = ki + i − 1. Diese Abbildung ist bijektiv von ΩIV in die Menge

Ω = (k10 , . . . , kn0 ) ∈ (M0 )n : k10 < k20 < · · · < kn0 ,

wobei M0 = {1, . . . , N + n − 1}. Offensichtlich besitzt diese Menge Ω die selbe Kardinalität
wie die oben behandelte Menge Ω0III , wobei Ω0III allerdings nicht mit M = {1, . . . , N } gebildet
wird, sondern mit M0 . Nun können wir die obige Formel für die Kardinalität von ΩIII benutzen,
nachdem wir N durch N + n − 1 ersetzt haben, und wir erhalten

0 N +n−1
|ΩIV | = |Ω| = |ΩIII | = .
n
3
8 KAPITEL 1. DISKRETE WAHRSCHEINLICHKEITSRÄUME

Es stellt sich heraus, dass eine Fülle von weiteren Modellen auf die obigen Urnenmodelle
zurückgeführt und mit Hilfe der Formeln in Beispiel 1.2.1 behandelt werden können.

Beispiel 1.2.2. Wir würfeln mit vier Würfeln. Wie groß ist die Wahrscheinlichkeit dafür, dass
wir vier verschiedene Augenzahlen erhalten? (Übungsaufgabe) 3

Beispiel 1.2.3. Wie groß ist beim Zahlenlotto ‘6 aus 49’ die Wahrscheinlichkeit für genau sechs
bzw. für genau vier Richtige? (Übungsaufgabe) 3

Beispiel 1.2.4 (Geburtstagszwillinge). Wie groß ist die Wahrscheinlichkeit p, dass unter n ∈ N
Personen keine zwei Personen am selben Tag Geburtstag haben? (Natürlich setzen wir voraus,
dass das Jahr 365 Tage hat, dass n ≤ 365 gilt und dass alle Geburtstage unabhängig voneinander
die gleiche Wahrscheinlichkeit haben.)
Die Menge aller Geburtstagskombinationen der n Personen ist ΩI mit N = 365 aus Bei-
spiel 1.2.1, und die Menge von Kombinationen, die das gesuchte Ereignis realisieren, ist die
Menge ΩII . Also ist die Anwort, dass die gesuchte Wahrscheinlichkeit gleich

|ΩII | 1 2 n − 1 nn−1
X i o
p= =1 1− 1− ... 1 − = exp log 1 −
|ΩI | N N N N
i=1

ist. Bei N = 365 und n = 25 ist dieser Wert etwa gleich 0, 432. Für allgemeine n und N
können wir eine Approximation dieses unhandlichen Ausdrucks vornehmen, wenn n sehr klein
im Verhältnis zu N ist. In diesem Fall benutzen wir die Näherung log(1 + x) ≈ x für kleine |x|
und erhalten
n n−1X io n n(n − 1) o
p ≈ exp − = exp − ,
N 2N
i=1

was sich viel leichter berechnen lässt. 3

Beispiel 1.2.5. Wie viele Möglichkeiten gibt es, n ununterscheidbare Murmeln auf N Zellen zu
verteilen?
Diese Frage führt auf die Frage der Kardinalität von ΩIV in Beispiel 1.2.1, und wir benutzen
die Gelegenheit, eine alternative Lösung anzubieten. Wir denken uns die n Murmeln in eine
Reihe gelegt. Sie in N Zellen einzuteilen, ist äquivalent dazu, N − 1 Trennwände zwischen die
n Murmeln zu setzen, denn dadurch werden ja die N Zellen definiert. (Links von der ersten
Trennwand ist der Inhalt der ersten Zelle, zwischen der (i − 1)-ten und i-ten Trennwand ist der
Inhalt der i-ten Zelle, und rechts von der (N −1)-ten Trennwand ist der Inhalt der letzten Zelle.)
Dadurch erhalten wir eine Reihe von N +n−1 Objekten: n Murmeln und N −1 Trennwände. Jede
der N +n−1

n möglichen Anordnungen (hier benutzen wir die Formel für |ΩIII —) korrespondiert
mit genau einer Möglichkeit, die Murmeln in N Zellen einzuteilen. Also ist diese Anzahl gleich
N +n−1
3

n .

1.3 Weitere Beispiele von Verteilungen

Bei Ziehungen aus einer Urne, in der zwei verschiedene Typen von Kugeln liegen, bietet sich das
folgende Modell an.
1.3. WEITERE BEISPIELE VON VERTEILUNGEN 9

Beispiel 1.3.1 (Hypergeometrische Verteilung). Aus einer Urne mit S schwarzen und W weißen
Kugeln ziehen wir n Kugeln ohne Zurücklegen. Wir setzen dabei voraus, dass S, W, n ∈ N0 mit
n ≤ S + W . Wir nehmen wie immer an, dass die Kugeln in der Urne gut gemischt sind. Uns
interessiert die Wahrscheinlichkeit, dass dabei genau s schwarze und w = n − s weiße Kugeln
gezogen wurden, wobei s, w ∈ N0 mit s ≤ S und w ≤ W . Das heißt, dass s die Bedingungen
max{0, n − W } ≤ s ≤ min{S, n} erfüllen muss. Die gesuchte Wahrscheinlichkeit ist gleich
S
W
s n−s
Hypn,S,W (s) = S+W , s ∈ max{0, n − W }, . . . , min{S, n} .
n

Dies ergibt sich aus einer mehrfachen Anwendung der Formel für |ΩIII | in Beispiel 1.2.1: Der
Nenner ist die Anzahl der Möglichkeiten, n Kugeln aus S + W auszuwählen, und im Zähler steht
die Anzahl der Möglichkeiten, s Kugeln aus S auszuwählen und n − s aus W . Wir können die
Menge Ω = {max{0, n − W }, . . . , min{S, n}} zusammen mit Hypn,S,W als einen Wahrschein-
lichkeitsraum auffassen. Der analytische Nachweis, dass Hypn,S,W wirklich auf Ω normiert ist,
ist etwas unangenehm; wir begnügen uns mit der probabilistischen Argumentation, dass wir die
Summe der Wahrscheinlichkeiten aller möglichen Ereignisse erhalten, indem wir Hypn,S,W (s)
über s ∈ Ω summieren. Man nennt Hypn,S,W die hypergeometrische Verteilung auf Ω mit Para-
metern n, S und W . 3
Beispiel 1.3.2. Wie groß ist die Wahrscheinlichkeit, dass nach dem Geben beim Skatspiel
Spieler A genau drei Asse besitzt? (Wir gehen davon aus, dass 32 Karten an drei Spieler, die
je zehn Karten erhalten, und den Skat verteilt werden, und dass genau vier Asse unter den 32
Karten sind. Natürlich nehmen wir wieder an, dass das Spiel gut gemischt ist.)
Um diese Frage zu beantworten, benutzen wir die hypergeometrische Verteilung mit S = 4,
W = 28 und n = 10 und s = 3, denn Spieler A erhält zehn von 32 Karten, und es gibt vier Asse
und 28 andere Karten im Spiel. Die gesuchte Wahrscheinlichkeit ist also
4 28

66
Hyp10,4,28 (3) = 3 327 = .
10
899
3

Eine der wichtigsten Verteilungen, die uns in dieser Vorlesung immer wieder begegnen wird,
taucht auf bei der Frage nach Erfolgszahlen bei Serien von Glücksspielen.
Beispiel 1.3.3 (Bernoulliverteilung). Wir spielen ein Glücksspiel, bei dem es mit Wahrschein-
lichkeit p ∈ [0, 1] einen Erfolg gibt und sonst keinen. Insgesamt spielen wir es n Mal, und alle
n Spiele sind unabhängig voneinander. (Zur Präzisierung dieses Begriffs siehe Abschnitt 2.2,
insbesondere Beispiel 2.2.3.) Man sagt, wir führen ein Bernoulli-Experiment der Länge n mit
Erfolgswahrscheinlichkeit p durch. Dieses Experiment können wir mit dem Wahrscheinlichkeits-
raum (Ω, q) gut beschreiben, wobei Ω = {0, 1}n (die Menge aller Vektoren der Länge n mit
Koeffizienten 0 oder 1, wobei ‘1’ für ‘Erfolg’ steht und ‘0’ für ‘Misserfolg’), und die Einzelwahr-
scheinlichkeiten sind gegeben durch
Pn Pn
q(ω) = p i=1 ωi (1 − p)n− i=1 ωi , ω = (ω1 , . . . , ωn ) ∈ Ω.
Pn Pn
(Man beachte, dass i=1 ωi gleich der Anzahl der Einsen im Vektor ω ist und n − i=1 ωi
die Anzahl der Nullen.) Den Nachweis, dass q tatsächlich eine Wahrscheinlichkeitsverteilung auf
Ω induziert (d. h., dass die q(ω) sich zu Eins aufsummieren), führt man am besten über eine
vollständige Induktion. 3
10 KAPITEL 1. DISKRETE WAHRSCHEINLICHKEITSRÄUME

Beispiel 1.3.4 (Binomialverteilung). Wir führen ein Bernoulli-Experiment der Länge n mit
Erfolgswahrscheinlichkeit p ∈ [0, 1] durch wie in Beispiel 1.3.3. Wie groß ist die Wahrschein-
lichkeit, genau k Erfolge zu haben, wobei k ∈ {0, P.n. . , n}? Formaler gefragt, wie groß ist die
Wahrscheinlichkeit des Ereignisses Ak = {ω ∈ Ω : i=1 ωi = k}?
n

Es gibt k Anzahlen von Spielverläufen, in denen es genau k Erfolge gibt, und die k Erfolge
geschehen mit Wahrscheinlichkeit pk , und die n−k Misserfolge mit Wahrscheinlichkeit (1−p)n−k .
Also ist die gesuchte Wahrscheinlichkeit gegeben durch die Formel

n k
Bin,p (k) = p (1 − p)n−k , k ∈ {0, . . . , n}.
k

Die Verteilung auf Ω = {0, . . . , n} mit den Einzelwahrscheinlichkeiten Bin,p heißt die Binomial-
verteilung mit Parametern p ∈ [0, 1] und n ∈ N. Wir erinnern an den Binomischen Lehrsatz
n
n
X n k n−k
(x + y) = x y , x, y ∈ R, n ∈ N, (1.3.1)
k
k=0

der eine analytische Rechtfertigung dafür liefert, dass Bin,p tatsächlich eine Wahrscheinlichkeits-
verteilung induziert. Ohne Probleme leitet man die Beziehungen
n n n
X n n
X
k n X n n n−1 n−1
=2 , (−1) = 0, k = n2n−1 , = +
k k k k k k−1
k=0 k=0 k=0
(1.3.2)
her (Übungsaufgabe). 3

In den folgenden beiden Beispielen führen wir die wohl wichtigsten Verteilungen auf einem
abzählbar unendlichen Raum ein.

Beispiel 1.3.5 (Geometrische Verteilung). Wir stellen uns vor, dass wir das Glücksspiel aus
Beispiel 1.3.4 so lange spielen, bis wir zum ersten Male einen Erfolg verbuchen können. Mit
welcher Wahrscheinlichkeit passiert dies beim k-ten Spiel (wobei k ∈ N)?
Das gesuchte Ereignis ist dadurch charakterisiert, dass wir genau k − 1 Mal hintereinander
keinen Erfolg haben und im k-ten Spiel endlich einen. Also ist die gesuchte Wahrscheinlichkeit
gleich
Geop (k) = p(1 − p)k−1 , k ∈ N. (1.3.3)

Die Verteilung auf Ω = N mit den Einzelwahrscheinlichkeiten Geop heißt geometrische Verteilung
mit Parameter p ∈ (0, 1). Sie ist also die Verteilung der Wartezeit auf den ersten Erfolg in einer
Serie von Glücksspielen, die jeweils mit Erfolgswahrscheinlichkeit p ablaufen. Manche Autoren
definieren die geometrische Verteilung auf der Menge N0 = N ∪ {0} mittels der Formel p(1 − p)k
für k ∈ N0 . Wir werden diese Verteilung mit Geo
g p bezeichnen.
Die Interpretation als Wartezeit auf den ersten Erfolg in einer möglicherweise unendlich lan-
gen Serie von Glücksspielen scheint den überabzählbaren Wahrscheinlichkeitsraum Ω = {0, 1}N
zu erfordern, die Menge aller unendlich langen 0-1-Folgen. Das ist allerdings tatsächlich nicht
nötig, da die Betrachtung des Ereignisses, dass das k-te Spiel den ersten Erfolg bringt, nur den
endlichen Wahrscheinlichkeitsraum Ω = {0, 1}k erfordert. 3
1.3. WEITERE BEISPIELE VON VERTEILUNGEN 11

Beispiel 1.3.6 (Poisson-Verteilung). Mit einem Parameter α ∈ (0, ∞) betrachten wir die Ver-
teilung auf Ω = N0 = {0, 1, 2, . . . }, die gegeben ist durch

αk
Poα (k) = e−α , k ∈ N0 . (1.3.4)
k!

Die Verteilung Poα heißt die Poisson-Verteilung zum Parameter α. Eine ihrer wichtigsten Be-
deutungen und Anwendungen kommt von der folgenden Überlegung her. Wir denken uns eine
zufällige Anzahl von zufälligen Zeitpunkten im Zeitintervall (0, t]. Wir müssen ein paar zusätz-
liche Annahmen machen. Wir teilen das Intervall in n gleiche Stücke der Länge t/n ein und
nehmen an, dass jedes dieser Teilintervalle für großes n höchstens einen dieser zufälligen Punkte
enthält. Außerdem nehmen wir an, dass die Entscheidung, ob die n Teilintervalle jeweils einen
solchen Zeitpunkt enthalten, unabhängig fällt (ein Begriff, den wir in Abschnitt 2.2 präzisieren
werden), und zwar mit Wahrscheinlichkeit pn . Mit anderen Worten, wir nehmen an, dass wir
es mit einem Bernoulli-Experiment der Länge n mit Erfolgswahrscheinlichkeit pn zu tun haben.
Den Parameter p = pn legen wir so fest, dass für großes n die erwartete Gesamtzahl der zufälli-
gen Punkte im Intervall (0, t] (dies ist die Zahl npn , was in Abschnitt 3.3 präzisiert werden wird)
ungefähr ein fester Wert α ∈ (0, ∞) ist. Der folgende Satz sagt, dass die Verteilung der Anzahl
der zufälligen Punkte in (0, t] dann etwa durch die Poisson-Verteilung gegeben ist:

Satz 1.3.7 (Poissonapproximation der Binomialverteilung; Poisson’scher Grenzwertsatz). Falls

limn→∞ npn = α, so gilt für jedes k ∈ N0

lim Bin,pn (k) = Poα (k).

n→∞

Beweis. Wir schreiben an ∼ bn , wenn limn→∞ an /bn = 1. Also sieht man, dass

nk n(n − 1)(n − 2) · · · · · (n − k + 1) nk

n
= ∼ , (1.3.5)
k k! nk k!

da wir den zweiten Bruch als Produkt von k Brüchen schreiben können, die jeweils gegen Eins
konvergieren. Nun benutzen wir die Tatsache limt→0 (1 + t)1/t = e, um zu schlussfolgern, dass

nk k (npn )k −npn

n k np
Bin,pn (k) = pn (1 − pn )n (1 − pn )−k ∼ pn (1 − pn )1/pn n ∼ e
k k! k!
αk −α
→ e = Poα (k).
k!

Beispiel 1.3.8 (Verallgemeinerte hypergeometrische Verteilung und Multinomialverteilung).

In einem Teich gibt es N Fische von k unterschiedlichen Sorten, und zwar genau Ni Stück von
Sorte i ∈ {1, . . . , k}, wobei N = N1 + · · · + Nk . Wir fischen n ∈ {0, . . . , N } Fische zufällig aus
dem Teich heraus. Mit welcher Wahrscheinlichkeit fangen wir dabei genau ni ∈ N0 Fische von
der Sorte i für jedes i ∈ {1, . . . , k}? Wir setzen natürlich voraus, dass n = n1 + · · · + nk und
ni ∈ {0, . . . , Ni } für jedes i.
12 KAPITEL 1. DISKRETE WAHRSCHEINLICHKEITSRÄUME

Die Antwort ist offensichtlich (bei ‘guter Mischung’ der Fische im Teich) gegeben durch die
Formel Qk Ni

i=1 ni
Hypn;N1 ,...,Nk (n1 , . . . , nk ) = N
,
n
N Ni

wobei n = 0 für n > N , analog für ni . Die Verteilung Hypn;N1 ,...,Nk auf der Menge

Ωn = (n1 , . . . , nk ) ∈ Nk0 : n1 + · · · + nk = n

heißt die verallgemeinerte hypergeometrische Verteilung mit Parametern n und N1 , . . . , Nk . Man

kann Ωn auffassen als die Menge aller Zerlegungen einer Menge von n ununterscheidbaren Ob-
jekten in k Teilmengen, siehe auch Beispiel 1.2.5. Die Konfigurationen (n1 , . . . , nk ) mit ni > Ni
für ein i haben die Einzelwahrscheinlichkeit Null unter Hypn;N1 ,...,Nk .
Falls man annehmen kann, dass sich von jeder Sorte sehr viele Fische im Teich befinden,
dann kann man die verallgemeinerte hypergeometrische Verteilung auch approximieren mit einer
leichter handhabbaren Verteilung. Wir nehmen dabei an, dass N1 , . . . , Nk so groß sind, dass die
obige Wahrscheinlichkeit im Wesentlichen nur noch von den relativen Anteilen Ni /N abhängt.
Dann kann man in etwa davon ausgehen, bei jedem Fang eines einzelnen Fisches die Sorte i mit
Wahrscheinlichkeit pi = Ni /N zu erwischen, unabhängig davon, wieviele und welche Fische man
schon vorher gefischt hat. Dies wird im folgenden Satz präzisiert (Beweis als Übungsaufgabe).

Satz 1.3.9 (Multinomialapproximation). Für jedes n ∈ N und alle n1 , . . . , nk ∈ N mit n1 +

· · · + nk = n und für alle p1 , . . . , pk ∈ [0, 1] mit p1 + · · · + pk = 1 gilt
k
Y
n
lim Hypn;N1 ,...,Nk (n1 , . . . , nk ) = Muln;p1 ,...,pk (n1 , . . . , nk ) = pni i .
N,N1 ,...,Nk →∞ n1 , . . . , n k
Ni /N →pi ∀i i=1

Der Multinomialkoeffizient

n n!
= , für n1 + · · · + nk = n,
n1 , . . . , n k n1 ! n2 ! . . . nk !

gibt offensichtlich die Anzahl der Möglichkeiten an, eine Menge von n unterscheidbaren Objekten
in k Teilmengen mit n1 , n2 , . . . , nk Elementen zu zerlegen. Die in Satz 1.3.9 eingeführte Verteilung
Muln;p1 ,...,pk auf Ωn heißt die Multinomialverteilung mit Parametern p1 , . . . , pk . Sie beschreibt
die Wahrscheinlichkeit, genau ni Mal das Ergebnis i zu erhalten für jedes i ∈ {1, . . . , k}, wenn
n Mal hintereinander ein Zufallsexperiment mit den möglichen Ausgängen 1, . . . , k, die jeweils
die Wahrscheinlichkeit p1 , . . . , pk haben, durchgeführt wird. Daher ist die Multinomialvertei-
lung eine Verallgemeinerung der Binomialverteilung auf mehr als zwei mögliche Ausgänge des
Experiments. Der Multinomialsatz
k
Y
X n
(x1 + · · · + xk ) =n
xni i für alle x1 , . . . , xk ∈ R,
n1 ,...,nk ∈N0
n1 , . . . , n k
i=1
n1 +···+nk =n

liefert die Begründung, dass Muln;p1 ,...,pk tatsächlich eine Wahrscheinlichkeitsverteilung auf Ωn
induziert. 3
Kapitel 2

Bedingte Wahrscheinlichkeit und

Unabhängigkeit

In vielen Situationen liegt schon eine gewisse Information vor, wenn man die Wahrscheinlichkeit
eines Ereignisses bestimmen möchte. Bei Abschluss einer Lebensversicherung kennt man schon
das aktuelle Alter des Antragstellers, beim Skatspiel kennt man schon die eigenen Karten, bei
Meinungsumfragen hat man vor der eigentlichen Befragung schon die Bevölkerungsgruppe des
oder der Befragten festgestellt. Das heißt, dass man über das Eintreten oder Nichteintreten
eines Ereignisses B schon informiert ist, wenn man die Wahrscheinlichkeit eines Ereignisses A
bestimmen will. In diesem Abschnitt wollen wir mathematisch präzisieren, was eine bedingte
Wahrscheinlichkeit von A gegeben B ist, und was es heißen soll, dass die Ereignisse A und B
unabhängig sind.
Dem gesamten Kapitel legen wir einen diskreten Wahrscheinlichkeitsraum (Ω, p) zu Grunde.

2.1 Bedingte Wahrscheinlichkeiten

Wir beginnen wieder mit einem einführenden Beispiel.
Beispiel 2.1.1 (Umfrage). In einer Meinungsumfrage soll die Anzahl der Raucher an der
Bevölkerung fest gestellt werden, das heißt die Wahrscheinlichkeit des Ereignisses A, dass eine
zufällig heraus gegriffene Person Raucher ist. Hierbei möchte man allerdings mehrere Bevölke-
rungsgruppen unterscheiden, zum Beispiel die Gruppe der 21- bis 30jährigen Frauen, was das
Ereignis B darstellen soll. Man möchte also die bedingte Wahrscheinlichkeit von A unter der
Voraussetzung, dass B eintritt, feststellen. Dazu wird man normalerweise die Anzahl der rau-
chenden 21- bis 30jährigen Frauen durch die Anzahl der 21- bis 30jährigen Frauen teilen, d.h.,
den Anteil der Raucherinnen unter den 21- bis 30jährigen Frauen bestimmen. Dies führt auf die
plausible Formel
|{21- bis 30jährige Raucherinnen}| P(A ∩ B)
P(Raucher(in) | 21- bis 30jährige Frau) = = .
|{21- bis 30jährige Frauen}| P(B)
3
Dieses Beispiel nehmen wir nun als Anlass zu einer allgemeinen Definition. Wir müssen
allerdings beachten, dass die obige Formel Gebrauch davon macht, dass wir es mit einer Gleich-
verteilung zu tun haben.

13
14 KAPITEL 2. BEDINGTE WAHRSCHEINLICHKEIT UND UNABHÄNGIGKEIT

Definition 2.1.2 (bedingte Wahrscheinlichkeit). Es seien A und B zwei Ereignisse mit P(B) >
0. Mit
P(A ∩ B)
P(A | B) =
P(B)
bezeichnen wir die bedingte Wahrscheinlichkeit von A gegeben B.

Beispiel 2.1.3. Es sei pk die Wahrscheinlichkeit, dass man während des k-ten Lebensjahrs
stirbt. (Hier machen wir natürlich wie üblich eine ganze Reihe an stark vereinfachenden Annah-
men, z. B. dass diese Wahrscheinlichkeit nicht abhängt vom Geschlecht, dem Geburtsjahr, dem
Wohnort, dem Beruf etc.) Dann ist sk = pk + pk+1 + pk+2 + . . . die Wahrscheinlichkeit, dass
man das Alter k erreicht. Wenn man für einen Zeitgenossen die Wahrscheinlichkeit, im k-ten
Lebensjahr zu sterben, ermitteln möchte, sollte man beachten, dass dieser gerade lebt und das
Alter l hat (mit l ≤ k). Also sollte man tatsächlich die bedingte Wahrscheinlichkeit gegeben,
dass er gerade l Jahre alt ist, angeben, und dies ist der Quotient pk /sl . 3

Wir sammeln ein paar einfache, aber wichtige Eigenschaften der bedingten Wahrscheinlich-
keit.

Lemma 2.1.4 (totale Wahrscheinlichkeit, Bayes’sche Formel). Es sei B ein Ereignis mit
P(B) > 0.
(i) P(· | B) erfüllt die Kolmogorov’schen Axiome (siehe Bemerkung 1.1.4), d. h. es gilt
S P(Ω |
B) = P1, und für alle Folgen (Ai )i∈N von paarweise disjunkten Ereignissen gilt P( i∈N Ai |
B) = i∈N P(Ai | B).

(ii) Es gilt die Formel von der totalen Wahrscheinlichkeit: FürSjedes Ereignis A und jede Folge
(Bi )i∈N von paarweise disjunkten Ereignissen mit B = i∈N Bi und P(Bi ) > 0 für alle
i ∈ N gilt X
P(A ∩ B) = P(Bi )P(A | Bi ).
i∈N

(iii) Es gilt die Formel von Bayes: Für jedes Ereignis

S A mit P(A) > 0 und jede Folge (Bi )i∈N
von paarweise disjunkten Ereignissen mit Ω = i∈N Bi und P(Bi ) > 0 für alle i ∈ N gilt

P(Bi )P(A | Bi )
P(Bi | A) = P , i ∈ N.
j∈N P(Bj )P(A | Bj )

Beweis. einfache Übungsaufgabe.

Die folgende Anwendung der Bayes’schen Formel zeigt, dass man nicht zu alarmiert sein
muss, wenn ein nicht ganz hundertprozentiger Test auf eine seltene Krankheit anspricht.
Beispiel 2.1.5 (Test auf eine seltene Krankheit). Eine seltene Krankheit liegt bei ungefähr
0,5 Prozent der Bevölkerung vor. Es gibt einen (recht guten) Test auf diese Krankheit, der bei
99 Prozent der Kranken anspricht, aber auch bei 2 Prozent der Gesunden. Mit welcher Wahr-
scheinlichkeit ist eine getestete Person tatsächlich krank, wenn der Test bei ihr angesprochen
hat?
2.2. UNABHÄNGIGKEIT VON EREIGNISSEN 15

Wir teilen also die Gesamtmenge Ω aller getesteten Personen ein in die Ereignisse B1 der
kranken und B2 der gesunden getesteten Personen. Es sei A das Ereignis, dass die getestete
Person auf den Test anspricht. Gesucht ist die bedingte Wahrscheinlichkeit P(B1 | A). Dem
Aufgabentext entnimmt man die Angaben

P(B1 ) = 0, 005, P(A | B1 ) = 0, 99, P(A | B2 ) = 0, 02.

Insbesondere ist natürlich P(B2 ) = 0, 995. Nun können wir die Bayes’sche Formel benutzen, um
die Aufgabe zu lösen:
P(B1 )P(A | B1 ) 0, 005 · 0, 99 495
P(B1 | A) = = = ≈ 0, 2.
P(B1 )P(A | B1 ) + P(B2 )P(A | B2 ) 0, 005 · 0, 99 + 0, 995 · 0, 02 2485
Also ist trotz positiven Testergebnisses die Wahrscheinlichkeit, diese Krankheit zu haben, nicht
alarmierend hoch. Man sollte unter Beobachtung bleiben. 3

In manchen Fällen erweist sich die folgend vorgestellte Formel als nützlich.
Lemma 2.1.6 (Multiplikationsformel). Für jedes n ∈ N und alle Ereignisse A1 , . . . , An ⊂ Ω
mit P(A1 ∩ · · · ∩ An−1 ) 6= 0 gilt

P(A1 ∩ · · · ∩ An ) = P(A1 )P(A2 | A1 )P(A3 | A1 ∩ A2 ) . . . P(An | A1 ∩ · · · ∩ An−1 ).

Beweis. Klar.

Beispiel 2.1.7. Mit welcher Wahrscheinlichkeit besitzt beim Skat jeder der drei Spieler nach
dem Geben genau ein Ass?
Wir verteilen also zufällig 32 Karten, darunter vier Asse, an drei Spieler, die je zehn Karten
erhalten, und den Skat. Es sei Ai das Ereignis, dass der i-te Spieler genau ein Ass erhält. Mit
Hilfe der Multiplikationsformel aus Lemma 2.1.6 errechnen wir:

P(A1 ∩ A2 ∩ A3 ) = P(A1 )P(A2 | A1 )P(A3 | A1 ∩ A2 )

4 28 3 19 2 10

2 · 4!
= 1
9 ×
32
1
9 ×
22
1
9
12 = 103 ≈ 0, 0556.
10 10 10
32 · 31 · 30 · 29
3

2.2 Unabhängigkeit von Ereignissen

In diesem Abschnitt präzisieren wir, was es heißt, dass zwei oder mehr Ereignisse unabhängig
sind. Intuitiv bedeutet Unabhängigkeit der Ereignisse A und B, dass das Eintreffen oder Nicht-
eintreffen von A nicht beeinflusst wird vom Eintreffen oder Nichteintreffen von B. Ein elemen-
tares Beispiel, in dem man den Unterschied zwischen Abhängigkeit und Unabhängigkeit gut
sehen kann, ist das Ziehen zweier Kugeln aus einer Urne ohne Zurücklegen im Vergleich zum
Ziehen mit Zurücklegen: Das Ziehen der ersten Kugel sollte das Ergebnis der zweiten Ziehung
beeinflussen, wenn man die erste nicht wieder zurück legt, aber nicht, wenn man sie zurück legt
und damit den Zustand, der vor der ersten Ziehung vorlag, wieder her stellt.
Wie formalisiert man aber Unabhängigkeit zweier Ereignisse A und B? Eine gute Idee ist
es, zu fordern, dass die Wahrscheinlichkeit von A überein stimmen muss mit der bedingten
16 KAPITEL 2. BEDINGTE WAHRSCHEINLICHKEIT UND UNABHÄNGIGKEIT

Wahrscheinlichkeit von A gegeben B (zumindest, falls P(B) > 0), also P(A) = P(A | B). Dies ist
auch tatsächlich eine plausible Formel, doch sollte man in der Definition für Symmetrie sorgen.
Ferner brauchen wir einen tragfähigen Begriff der Unabhängigkeit mehrerer Ereignisse:

Definition 2.2.1 (Unabhängigkeit). (i) Zwei Ereignisse A und B heißen unabhängig, falls
gilt: P(A ∩ B) = P(A)P(B).

(ii) Eine Familie (Ai )i∈I (wobei I eine beliebige Indexmenge ist) heißt unabhängig, falls für
jede endliche Teilmenge J von I die folgende Produktformel gilt:
\ Y
P Ai = P(Ai ). (2.2.1)
i∈J i∈J

Beispiel 2.2.2. Beim n-fachen Wurf mit einem fairen Würfel (also Ω = {1, . . . , 6}n mit der
Gleichverteilung) sind die n Ereignisse ‘i-ter Wurf zeigt ai ’ für i = 1, . . . , n bei beliebigen
a1 , . . . , an ∈ {1, . . . , 6} unabhängig, denn ihre jeweilige Wahrscheinlichkeit ist 16 , und die Wahr-
scheinlichkeit eines beliebigen Schnittes dieser Ereignisse ist 61 hoch die Anzahl der geschnittenen
Mengen. 3
Beispiel 2.2.3 (Bernoulli-Experiment). Das in Beispiel 1.3.3 eingeführte Bernoulli-Experiment
besteht tatsächlich aus n unabhängigen Experimenten, die jeweils Erfolgswahrscheinlichkeit p
haben. Mit anderen Worten, die Ereignisse Ai = {ω ∈ Ω : ωi = 1} (‘i-tes Spiel hat Erfolg’) sind
unabhängig für i = 1, . . . , n. Der Nachweis der Unabhängigkeit ist eine Übungsaufgabe. 3
Beispiel 2.2.4. Beim zweimaligen Ziehen je einer Kugel aus einer gut gemischten Urne mit
s schwarzen und w weißen Kugeln sind die Ereignisse ‘erste Kugel ist weiß’ und ‘zweite Kugel
ist weiß’ unabhängig, wenn nach dem ersten Ziehen die gezogene Kugel zurück gelegt wurde,
aber nicht unabhängig, wenn dies nicht geschah. (Übungsaufgabe: Man beweise dies.) Dies un-
terstreicht, dass Unabhängigkeit nicht nur eine Eigenschaft der Ereignisse ist, sondern auch
entscheidend vom Wahrscheinlichkeitsmaß abhängt. 3
Bemerkung 2.2.5. (a) Es ist klar, dass jede Teilfamilie einer Familie von unabhängigen Er-
eignissen unabhängig ist.
(b) Die Forderung, dass die Produktformel in (2.2.1) für jede endliche Teilauswahl J gelten
soll (und nicht nur für J = I oder nur für alle zweielementigen Teilauswahlen) ist sehr
wesentlich. Der (weitaus weniger wichtige) Begriff der paarweisen Unabhängigkeit fordert
die Produktformel nur für die zweielementigen Teilmengen J von I. Im folgenden Beispiel
haben wir drei paarweise unabhängige Ereignisse, die nicht unabhängig sind: In Ω =
{1, 2, 3, 4} mit der Gleichverteilung betrachten wir die Ereignisse A1 = {1, 2}, A2 = {2, 3}
und A3 = {3, 1}. (Übungsaufgabe: Verifiziere, dass A1 , A2 und A3 paarweise unabhängig,
aber nicht unabhängig sind.)
(c) Unabhängigkeit ist keine Eigenschaft von Mengen von Ereignissen, sondern von Tupeln
von Ereignissen, die allerdings nicht von der Reihenfolge abhängt. Dies ist wichtig, wenn
z. B. eines der Ereignisse in dem betrachteten Tupel mehrmals auftritt. Falls das Paar
(A, A) unabhängig ist, so folgt P(A) = P(A ∩ A) = P(A)P(A) = P(A)2 , also P(A) ∈ {0, 1}.
(d) Unabhängigkeit kann sogar trotz Kausalität vorliegen, wie das folgende Beispiel zeigt.
Beim Würfeln mit zwei fairen Würfeln (also Ω = {1, . . . , 6}2 mit der Gleichverteilung)
2.2. UNABHÄNGIGKEIT VON EREIGNISSEN 17

betrachten wir die Ereignisse A = {Augensumme ist 7} = {(i, j) ∈ Ω : i + j = 7} und

B = {erster Würfel zeigt 6} = {(i, j) ∈ Ω : i = 6}. Dann gilt P(A ∩ B) = P({(6, 1)}) =
1 1 1
36 = 6 × 6 = P(A)P(B). Also sind A und B unabhängig, obwohl offensichtlich eine
Kausalität zwischen diesen beiden Ereignissen vorliegt.
3

Ein hilfreiches Kriterium für Unabhängigkeit von Ereignissen ist das Folgende. Es sagt, dass
die Unabhängigkeit von n Ereignissen gleichbedeutend ist mit der Gültigkeit der Produktformel
in (2.2.1) für J = {1, . . . , n}, aber man muss für jedes der Ereignisse auch das Komplement zu-
lassen können. Zur bequemsten Formulierung benötigen wir die Notation A1 = A für Ereignisse
A, während Ac wie üblich das Komplement von A ist.

Lemma 2.2.6. Ereignisse A1 , . . . , An sind genau dann unabhängig, wenn für alle k1 , . . . , kn ∈
{1, c} gilt:
\n Yn
P Aki i = P(Aki i ). (2.2.2)
i=1 i=1

Beweis.
‘=⇒’: Wir setzen die Unabhängigkeit der A1 , . . . , An voraus und zeigen (2.2.2) mit einer
Induktion nach n. Für n = 1 ist nichts zu zeigen. Wir nehmen nun den Schluss von n auf n + 1
vor und setzen voraus, dass A1 , . . . , An+1 unabhängig sind. Nun zeigen wir (2.2.2) für n + 1 statt
n mit einer weiteren Induktion über die Anzahl m der ‘c’ in k1 , . . . , kn+1 .
Für m = 0 folgt die Behauptung aus der Definition der Unabhängigkeit der A1 , . . . , An+1 .
Nun machen wir den Induktionsschluss von m ∈ {0, . . . , n} auf m + 1: Es seien m + 1 Kom-
plementzeichen in k1 , . . . , kn+1 . Durch eine geeignete Permutation der Ereignisse können wir
annehmen, dass kn+1 = c ist. Dann haben wir

n+1
\ k n
\ n
\ n
\
P Ai i = P Aki i ∩ Acn+1 = P Aki i − P Aki i ∩ An+1 .
i=1 i=1 i=1 i=1

Der erste Summand ist nach Induktionsvoraussetzung an n gleich ni=1 P(Aki i ), und der zweite
Q

nach Induktionsvoraussetzung an m gleich [ ni=1 P(Aki i )]P(An+1 ). Nun setzt man diese zwei
Q
Gleichungen ein, klammert geeignet aus und erhält die beabsichtigte Gleichung:

n+1
\ n+1
Y
P Aki i = P(Aki i ).
i=1 i=1

‘⇐=’: Wir setzen also die Gültigkeit von (2.2.2) voraus und zeigen nun die Unabhängigkeit
von A1 , . . . , An . Sei {i1 , . . . , ik } ⊂ {1, . . . , n} eine k-elementige Menge, und seiT{j1 , . . . , jm } das
Komplement von {i1 , . . . , ik } in {1, . . . , n}, also m = n − k. Dann lässt sich kl=1 Ail wie folgt
als disjunkte Vereinigung schreiben:

k
\ [ k
h\ m
\ i
Ail = Ail ∩ Akjss .
l=1 k1 ,...,km ∈{1,c} l=1 s=1
18 KAPITEL 2. BEDINGTE WAHRSCHEINLICHKEIT UND UNABHÄNGIGKEIT

Die Wahrscheinlichkeit von der Menge auf der rechten Seite ist nach unserer Voraussetzung
gleich
X k
Y m
Y k
Y
P(Ail ) × P(Akjss ) = P(Ail ),
k1 ,...,km ∈{1,c} l=1 s=1 l=1

wobei wir auch die Additivität bei paarweiser Disjunktheit benutzten.

Da Lemma 2.2.6 symmetrisch ist in den Ereignissen und ihren Komplementen, ist die fol-
gende Folgerung klar.

Korollar 2.2.7. Ereignisse A1 , . . . , An sind genau dann unabhängig, wenn ihre Komplemente
Ac1 , . . . , Acn unabhängig sind.

Eine sehr hübsche Anwendung betrifft die Riemann’sche Zetafunktion und die Euler’sche
Produktformel:

Beispiel 2.2.8 (Euler’sche Primzahlformel). Die Riemann’sche Zetafunktion ist definiert durch

∞
X
ζ(s) = k −s , s > 1.
k=1

Die Euler’sche Primzahlformel oder Produktdarstellung dieser Funktion lautet

Y −1
ζ(s) = 1 − p−s .
p prim

Diese Formel wollen wir nun mit probabilistischen Mitteln beweisen. Wir skizzieren hier nur den
Weg, die Ausformulierung der Details ist eine Übungsaufgabe.
Wir erhalten einen Wahrscheinlichkeitsraum (N, q), indem wir q(k) = k −s ζ(s)−1 für k ∈ N
setzen. Man zeigt, dass die Mengen pN = {pk : k ∈ N} (die Mengen der durch p teilbaren Zahlen)
unabhängig sind, wenn p über alle Primzahlen genommen wird. Aufgrund von Folgerung 2.2.7
sind also auch die Komplemente (pN)c unabhängig. Deren Schnitt ist gleich der Menge {1}, deren
Wahrscheinlichkeit gleich ζ(s)−1 ist. Die Unabhängigkeit liefert, dass der (unendliche) Schnitt
der Mengen (pN)c mit p eine Primzahl die Wahrscheinlichkeit hat, die durch das Produkt der
Wahrscheinlichkeiten dieser Mengen gegeben ist. Diese identifiziert man mit (1 − p−s ), und
daraus folgt die Euler’sche Produktdarstellung der Riemann’schen Zetafunktion. 3

2.3 Produkträume

Der Begriff der Unabhängigkeit ist eng verknüpft mit Produkträumen von mehreren Wahr-
scheinlichkeitsräumen. Man denke an n nacheinander und unabhängig von einander ausgeführte
Zufallsexperimente, die jeweils durch einen Wahrscheinlichkeitsraum beschrieben werden. Die
gesamte Versuchsreihe dieser n Experimente wird in natürlicher Weise durch den Produktraum
beschrieben.
2.3. PRODUKTRÄUME 19

Definition 2.3.1. Es seien (Ω1 , p1 ), . . . , (Ωn , pn ) diskrete Wahrscheinlichkeitsräume. Auf der

Produktmenge

Ω = Ω1 × · · · × Ωn = (ω1 , . . . , ωn ) : ω1 ∈ Ω1 , . . . , ωn ∈ Ωn

definieren wir p : Ω → [0, 1] durch

n
Y
p (ω1 , . . . , ωn ) = pi (ωi ).
i=1

Dann ist (Ω, p) ein diskreter Wahrscheinlichkeitsraum, der der Produktwahrscheinlichkeits-

raum der Räume (Ω1 , p1 ), . . . , (Ωn , pn ) genannt wird. Er wird auch mit ⊗ni=1 (Ωi , pi ) bezeichnet.
Falls die Räume (Ω1 , p1 ), . . . , (Ωn , pn ) identisch sind, schreiben wir auch (Ω, p) = (Ω1 , p1 )⊗n .

Das Beispiel 2.2.2 wird im folgenden Satz verallgemeinert.

Satz 2.3.2. Seien (Ω1 , p1 ), . . . , (Ωn , pn ) diskrete Wahrscheinlichkeitsräume, und seien A1 ⊂

Ω1 , . . . , An ⊂ Ωn Ereignisse in den jeweiligen Räumen. Dann sind die Ereignisse A(1) (n)
1 , . . . , An
unabhängig im Produktraum (Ω, p) der Räume (Ω1 , p1 ), . . . , (Ωn , pn ), wobei

A(i)
i = {(ω1 , . . . , ωn ) ∈ Ω : ωi ∈ Ai }.

Die Ereignisse Ai(i) sind nichts weiter als eine Art Einbettung des Ereignisses ‘Ai tritt ein’
in den Produktraum an die i-te Stelle. Korrekter ausgedrückt, wenn πi : Ω → Ωi die Projektion
πi ((ω1 , . . . , ωn )) = ωi auf den i-ten Faktor bezeichnet, dann ist

−1
A(i)
i = {ω ∈ Ω : πi (ω) ∈ Ai } = πi (Ai )

das Urbild von Ai unter πi .

Beweis. Mit P bezeichnen wir das von p auf dem Produktraum Ω induzierte Wahrscheinlich-
keitsmaß.
Sei J ⊂ {1, . . . , n}, dann ist die Produktformel in (2.2.1) für die Ereignisse A(i)
i mit i ∈ J zu
zeigen. Die Wahrscheinlichkeit des Schnittes dieser Mengen drücken wir durch Summation über
alle Einzelereignisse aus:
\
A(i)

P i = P {ω : ωi ∈ Ai für alle i ∈ J}
i∈J
X X
= p(ω) = p1 (ω1 ) . . . pn (ωn ).
ω : ωi ∈Ai ∀i∈J ω1 ,...,ωn : ωi ∈Ai ∀i∈J

Den letzten Ausdruck können wir mit der Notation Bi = Ai , falls i ∈ J und Bi = Ωi , falls i ∈
/ J,
zusammenfassen als
X X n X
Y n
Y Y
p1 (ω1 ) · · · pn (ωn ) = pi (ωi ) = Pi (Bi ) = Pi (Ai ),
ω1 ∈B1 ωn ∈Bn i=1 ωi ∈Bi i=1 i∈J
20 KAPITEL 2. BEDINGTE WAHRSCHEINLICHKEIT UND UNABHÄNGIGKEIT

da ja Pi (Bi ) = Pi (Ωi ) = 1 für i ∈

/ J. (Natürlich bezeichnet Pi das zu (Ωi , pi ) gehörige Wahr-
scheinlichkeitsmaß.) Nun beachte man, dass gilt:

Ai(i) = Ω1 × · · · × Ωi−1 × Ai × Ωi+1 × · · · × Ωn ,

woraus folgt, dass Pi (Ai ) = P(Ai(i) ). Dies beendet den Beweis.

Kapitel 3

Zufallsgrößen, Erwartungswerte und

Varianzen

Wir wollen nicht nur die Wahrscheinlichkeiten von Ereignissen bestimmen, sondern auch zufällige
Größen behandeln. In diesem Abschnitt präzisieren wir, was eine Zufallsgröße ist, und was wir
unter ihrem Erwartungswert und ihrer Varianz verstehen wollen. Außerdem erläutern wir, was
Unabhängigkeit von Zufallsgrößen ist.
Wir legen wieder dem gesamten Kapitel einen diskreten Wahrscheinlichkeitsraum (Ω, p) zu
Grunde.

3.1 Zufallsgrößen

Definition 3.1.1 (Zufallsgröße). Jede Abbildung X : Ω → R heißt eine (reellwertige) Zufalls-

größe oder Zufallsvariable.

Beispiel 3.1.2. Die Augensumme bei zwei Würfen mit einem fairen Würfel ist die auf Ω =
{1, . . . , 6}2 mit der Gleichverteilung definierte Zufallsvariable X : Ω → R mit X(i, j) = i + j. 3
n
Beispiel
Pn Pn Anzahl der Erfolge im Bernoulli-Experiment (also Ω = {0, 1} mit q(ω) =
3.1.3. Die
ω
p i=1 (1 − p)
i n− i=1 ω i , wobei p ∈ [0, 1] einP
Parameter ist; siehe Beispiel 1.3.3) ist die Zufalls-
variable X : Ω → R, gegeben durch X(ω) = ni=1 ωi . 3

Im Umgang mit Zufallsgrößen haben sich einige sehr handliche Konventionen eingebürgert.
Wir schreiben X(Ω) für die (höchstens abzählbare) Menge {X(ω) ∈ R : ω ∈ Ω}, das Bild von Ω
unter X. Für eine Menge A ⊂ R ist die Menge X −1 (A) = {ω ∈ Ω : X(ω) ∈ A} (das Urbild von
A unter X) das Ereignis ‘X nimmt einen Wert in A an’ oder ‘X liegt in A’. Wir benutzen die
Kurzschreibweisen
{X ∈ A} = X −1 (A) = {ω ∈ Ω : X(ω) ∈ A},
{X = z} = X −1 ({z}) = {ω ∈ Ω : X(ω) = z},
{X ≤ z} = X −1 ((−∞, z]) = {ω ∈ Ω : X(ω) ≤ z}
und so weiter. Statt P({X ∈ A}) schreiben wir P(X ∈ A) etc. Mit P(X ∈ A, Y ∈ B) meinen

21
22 KAPITEL 3. ZUFALLSGRÖSSEN, ERWARTUNGSWERTE UND VARIANZEN

wir immer P({X ∈ A} ∩ {Y ∈ B}), d. h., das Komma steht immer für ‘und’ bzw. für den
mengentheoretischen Schnitt.

Definition 3.1.4 (Verteilung einer Zufallsgröße). Sei X eine Zufallsgröße, dann ist das Paar
(X(Ω), pX ) definiert durch pX (x) = P(X = x), ein diskreter Wahrscheinlichkeitsraum. Das
induzierte Wahrscheinlichkeitsmaß P ◦ X −1 , definiert durch P ◦ X −1 (A) = x∈A pX (x), erfüllt
P
P ◦ X −1 (A) = P(X ∈ A) für alle A ⊂ X(Ω) und wird die Verteilung von X genannt.

Bemerkung 3.1.5. Wenn man X −1 als Urbildoperator von der Potenzmenge von X(Ω) in
die Potenzmenge von Ω auffasst, dann ist P ◦ X −1 die Hintereinanderausführung der beiden
Abbildungen X −1 : P(X(Ω)) → P(Ω) und P : P(Ω) → [0, 1].
Wir können P ◦ X −1 (A) = P(X ∈ A) für jede Teilmenge von R betrachten und meinen
damit P ◦ X −1 (A ∩ X(Ω)). 3

Je nachdem, ob das Wahrscheinlichkeitsmaß P ◦ X −1 die Binomial-, geometrische oder hy-

pergeometrische Verteilung ist, nennen wir die Zufallsgröße X binomialverteilt, geometrisch
verteilt oder hypergeometrisch verteilt, analog für jede andere Verteilung. Insbesondere ist also
die Anzahl der Erfolge in einem Bernoulli-Experiment binomialverteilt, und die Wartezeit auf
den ersten Erfolg ist geometrisch verteilt. Letztere Verteilung besitzt eine interessante charak-
teristische Eigenschaft, die (bei oberflächlicher Betrachtung) der Intuition widerspricht: Wenn
man eine große Anzahl von erfolglosen Spielen beobachtet hat, erwartet man vielleicht, dass die
Erfolgswahrscheinlichkeit im nächsten Spiel größer sein sollte, denn im Durchschnitt sollten sich
ja über lange Spielserien die Erfolge und Misserfolge im Verhältnis ihrer Wahrscheinlichkeiten
ausgleichen.1 Der nächste Satz zeigt, dass dies ein Trugschluss ist.

Lemma 3.1.6 (Gedächtnislosigkeit der geometrischen Verteilung). Sei X eine geometrisch auf
N verteilte Zufallsgröße, und sei n ∈ N. Dann ist für jedes k ∈ N

P(X = k) = P(X = n − 1 + k | X ≥ n).

Insbesondere ist also, wenn man n−1 erfolglosen Spielen beigewohnt hat, die Wahrscheinlich-
keit für den nächsten Erfolg nach genau k weiteren Spielen unabhängig von n, also unabhängig
vom bisherigen Spielverlauf.
Beweis. Wir rechnen die rechte Seite explizit aus:

P(X = n − 1 + k, X ≥ n) P(X = n − 1 + k)
P(X = n − 1 + k | X ≥ n) = = P∞
P(X ≥ n) l=n P(X = l)
p(1 − p)n+k−2 (1 − p)k−1
= P∞ l−1
= P∞ l−1
= p(1 − p)k−1
l=n p(1 − p) l=1 (1 − p)
= P(X = k).

1
Dieser Gedanke wird in Satz 5.1.4 unter dem Namen ‘Gesetz der Großen Zahlen’ präzisiert werden.
3.2. UNABHÄNGIGKEIT VON ZUFALLSGRÖSSEN 23

3.2 Unabhängigkeit von Zufallsgrößen

Wir beginnen mit einer recht allgemeinen Definition der Unabhängigkeit von diskreten Zufalls-
größen.

Definition 3.2.1. Sei (Xi )i∈I eine Familie von Zufallsgrößen Xi : Ω → R, wobei I eine be-
liebige Indexmenge ist. Wir sagen, die Familie (Xi )i∈I ist unabhängig (oder auch, die Xi mit
i ∈ I seien unabhängig), wenn für jede Familie (Ai )i∈I von reellen Mengen Ai ⊂ R die Familie
der Ereignisse ({Xi ∈ Ai })i∈I unabhängig ist.

Tatsächlich lässt das Konzept von diskreten Wahrscheinlichkeitsräumen, das wir in diesem
Skript behandeln, es nicht zu, mehr als endlich viele unabhängige Zufallsgrößen zu konstruie-
ren. Die Existenz einer unendlich großen Familie von unabhängigen Zufallsgrößen erfordert die
Theorie von Wahrscheinlichkeiten auf überabzählbar großen Mengen (die wir später behandeln
werden), denn alleine wenn man schon abzählbar unendlich viele unabhängige Zufallsgrößen de-
finieren möchte, die jeweils nur zwei verschiedene Werte annnehmen, sagen wir, 0 und 1, muss
man das auf einer Menge tun, die die Menge {0, 1}N (die Menge aller unendlichen Folgen mit
Koeffizienten in {0, 1}) enthält, aber diese Menge ist überabzählbar. Im Folgenden werden wir
also ausschließlich endlich viele unabhängige Zufallsgrößen betrachten.
Wir bringen zunächst eine Charakterisierung der Unabhängigkeit von endlich vielen Zufalls-
größen. Ausführlicher könnte man die Unabhängigkeit von Zufallsgrößen X1 , . . . , Xn formulie-
ren, indem man die Gültigkeit die Produktformel (2.2.1) für alle endlichen Teilmengen J von
{1, . . . , n} und alle Ereignisse der Form {Xi ∈ Ai } fordert. Das folgende Lemma sagt, dass man
sich zurückziehen kann auf einelementige Mengen Ai und auf die Wahl J = {1, . . . , n}. Der
Beweis zeigt, dass man nämlich alle anderen Ereignisse aus dieser speziellen Wahl kombinieren
kann durch Vereinigungsbildung.

Lemma 3.2.2. Zufallsgrößen X1 , . . . , Xn sind genau dann unabhängig, wenn für alle x1 ∈
X1 (Ω), . . . , xn ∈ Xn (Ω) gilt:
n
Y
P(X1 = x1 , . . . , Xn = xn ) = P(Xi = xi ).
i=1

Beweis.
‘=⇒’: Dies folgt aus einer Anwendung der Definition 2.2.1 auf die Teilmenge J = {1, . . . , n}
und die Ereignisse {Xi = xi }.
‘⇐=’ Seien A1 , . . . , An ⊂ R, und sei J eine beliebige nichtleere Teilmenge der Indexmenge
{1, . . . , n}. Wir zeigen die Gültigkeit der Produktformel (2.2.1) für die Ereignisse {Xi ∈ Ai } mit
i ∈ J, wobei wir voraus setzen dürfen, dass Ai ⊂ Xi (Ω). Hierzu schreiben wir den Schnitt dieser
Ereignisse als eine disjunkte Vereinigung von Schnitten von Ereignissen der Form {Xi = xi } mit
i ∈ {1, . . . , n}. Auf diese Ereignisse können wir die Produktformel laut Voraussetzung anwenden.
Die Einführung der Notation Bi = Ai , falls i ∈ J, und Bi = Xi (Ω) sonst, vereinfacht die
24 KAPITEL 3. ZUFALLSGRÖSSEN, ERWARTUNGSWERTE UND VARIANZEN

Notation. Also gilt

\ n
\ [ n
\
P {Xi ∈ Ai } = P {Xi ∈ Bi } = P {Xi = xi }
i∈J i=1 x1 ∈B1 ,...,xn ∈Bn i=1
X n
\ X n
Y
= P {Xi = xi } = P(Xi = xi )
x1 ∈B1 ,...,xn ∈Bn i=1 x1 ∈B1 ,...,xn ∈Bn i=1
n X
Y n
Y Y
= P(Xi = xi ) = P(Xi ∈ Bi ) = P(Xi ∈ Ai ).
i=1 xi ∈Bi i=1 i∈J

Beispiel 3.2.3 (Indikatorvariable). Für ein beliebiges Ereignis A bezeichnen wir mit 1lA die
durch (
1, falls ω ∈ A,
1lA (ω) =
0, falls ω ∈/ A,
definierte Indikatorvariable auf A. Es folgt leicht aus einer Kombination von Lemma 2.2.6 und
Lemma 3.2.2, dass Ereignisse A1 , . . . , An genau dann unabhängig sind, wenn die Indikatorvaria-
blen 1lA1 , . . . , 1lAn unabhängig sind. 3

Beispiel 3.2.4 (Bernoulli-Zufallsgrößen). In einem oft auftretenden Spezialfall nehmen die un-
abhängigen Zufallsgrößen X1 , . . . , Xn die Werte 1 und 0 jeweils mit Wahrscheinlichkeit p bzw.
1 − p an. Man sagt, X1 , . . . , Xn sind Bernoulli-Zufallsgrößen. Man kann diese Größen auf dem
in Beispiel 1.3.3 (siehe auch Beispiele 2.2.3 und 3.1.3) eingeführten Wahrscheinlichkeitsraum
(Ω, q) formal definieren, indem man Xi (ω) = ωi setzt, d. h., Xi ist 1, wenn das i-te Spiel einen
Erfolg hatte. Also kann man Bernoulli-Zufallsgrößen auch auffassen als Indikatorvariable auf
unabhängigen Ereignissen, die jeweils mit Wahrscheinlichkeit p eintreten. 3

Bernoulli-Zufallsgrößen benutzt man oft, um gewisse Modelle der statistischen Physik zu

definieren:

Beispiel 3.2.5 (Perkolation). Ein Modell für die (zufällige) Durchlässigkeit eines porösen Mate-
rials erhält man auf folgende Weise. Wir sagen, zwei Punkte i und j im Gitter Zd sind benachbart,
und wir schreiben i ∼ j, falls sich i und j nur in genau einer Komponenten unterscheiden, und
zwar um 1 oder −1. Wir betrachten eine endliche Box Λ ⊂ Zd , die den Ursprung enthält. Jede
Kante zwischen Nachbarn in Λ habe den Wert ‘offen’ mit Wahrscheinlichkeit p ∈ (0, 1) und den
Wert ‘geschlossen’ sonst. Die Offenheit der Kanten sei unabhängig. Also haben wir eine Kollek-
tion von Bernoulli-Zufallsgrößen (X{i,j} )i,j∈Λ,i∼j mit Werten in einer zweielementigen Menge.
Wir denken uns eine Wasserquelle im Ursprung, und das Wasser kann frei entlang offener
Kanten laufen, aber nicht entlang der anderen Kanten. Eine typische Frage, die man sich nun
stellt, ist: ‘Mit welcher Wahrscheinlichkeit gibt es an der Oberfläche von Λ feuchte Punkte?’.
Besonders interessant ist diese Frage im Grenzübergang Λ ↑ Zd , d. h., die Frage nach der Existenz
eines offenen Weges nach Unendlich. (Man sagt in diesem Fall, dass die Flüssigkeit durchsickert,
d. h. sie perkoliert.) Eine andere natürliche Frage ist die nach der erwarteten Anzahl (siehe den
nächsten Abschnitt) von durchfeuchteten Zellen in dem Material, und im Fall Λ ↑ Zd die Frage,
ob der feuchte Teil erwartungsgemäß endlich ist oder nicht.
3.2. UNABHÄNGIGKEIT VON ZUFALLSGRÖSSEN 25

Es ist klar, dass die Antworten auf diese Fragen nur von p abhängen, und man erwartet einen
sogenannten Phasenübergang zwischen kleinen und großen Werten von p, d. h. einen kritischen
Wert von p, an dem die Antworten drastisch umschlagen. 3

Ein weiteres Standardmodell der statistischen Physik wird mit Hilfe von abhängigen Zu-
fallsgrößen konstruiert:

Beispiel 3.2.6 (Ising-Modell). Ein Modell für die Magnetisierung eines Stücks Eisen in einem
Magnetfeld wird folgendermaßen definiert. Wieder sei Λ ⊂ Zd eine endliche Box, und wir definie-
ren die Verteilung von {−1, 1}-wertigen Zufallsgrößen Xi mit i ∈ Λ wie folgt. (Wir interpretieren
Xi als die Ladung im Punkt i.) Für jede Konfiguration (xi )i∈Λ ∈ {−1, 1}Λ sei

1 n X X o
P (Xi )i∈Λ = (xi )i∈Λ = exp β xi xj + h xi ,
Zβ,h,Λ
i,j∈Λ,i∼j i∈Λ

wobei β, h > 0 Parameter seien und Zβ,h,Λ eine geeignete Normierungskonstante. Das Maß P
favorisiert Konfigurationen (xi )i∈Λ mit vielen Übergängen zwischen gleichen Ladungen und mit
vielen positiven Ladungen. Die Parameter β bzw. h regeln die Stärke dieser Effekte; insbesondere
ist h die Stärke des äußeren Magnetfeldes. 3

Im folgenden Beispiel wird eine Ahnung davon gegeben, dass man bei geometrisch verteilten
Zufallsgrößen sehr viele Wahrscheinlichkeiten explizit ausrechen kann.

Beispiel 3.2.7 (unabhängige geometrische Zufallsgrößen). Es seien X und Y zwei unabhängige,

zum Parameter p ∈ [0, 1] geometrisch auf N0 verteilte Zufallsgrößen, d. h., wir haben P(X = k) =
P(Y = k) = (1 − p)k p für jedes k ∈ N0 , und für alle k, n ∈ N0 gilt P(X = k, Y = n) = P(X =
k)P(Y = n). Wir wollen die Wahrscheinlichkeiten gewisser mit X und Y beschriebener Ereignisse
errechnen.
Als Beispiel berechnen wir P(X = Y ), also die Wahrscheinlichkeit, dass X und Y den
selben Wert annehmen. Da das Ereignis {X = Y } die disjunkte Vereinigung der Ereignisse
{X = k, Y = k} mit k ∈ N0 ist, erhalten wir
X X
P(X = Y ) = P(X = k, Y = k) = P(X = k)P(Y = k)
k∈N0 k∈N0
X X 1
= p2 (1 − p)k (1 − p)k = p2 [(1 − p)2 ]k = p2
1 − (1 − p)2
k∈N0 k∈N0
p
= .
2−p

Als Übungsaufgabe berechne man die Werte der Wahrscheinlichkeiten P(X ≤ Y ), P(X < Y )
und P(X = Y = Z), wobei X, Y und Z drei geometrisch verteilte Zufallsgrößen sind. 3

Wie bei Unabhängigkeit von Ereignissen gibt es auch einen engen Zusammenhang zwischen
Unabhängigkeit von Zufallsgrößen und Produkträumen. Im folgenden Lemma charakterisieren
wir die Unabhängigkeit von Zufallsgrößen mit Hilfe der gemeinsamen Verteilung der Größen.
Zunächst erklären wir, was man unter der gemeinsamen Verteilung von mehreren Zufallsgrößen
versteht.
26 KAPITEL 3. ZUFALLSGRÖSSEN, ERWARTUNGSWERTE UND VARIANZEN

Definition 3.2.8 (Gemeinsame Verteilung, Randverteilung). Es seien X1 , . . . , Xn Zufalls-

größen. Dann verstehen wir unter der gemeinsamen Verteilung der X1 , . . . , Xn die Verteilung
des Zufallsvektors X = (X1 , . . . , Xn ). Dies ist (analog zu Definition 3.1.4) das Wahrschein-
lichkeitsmaß P ◦ X −1 , das durch pX induziert wird, und pX wird auf der Bildmenge X(Ω) =
{(X1 (ω), . . . , Xn (ω)) : ω ∈ Ω} definiert durch

pX (x1 , . . . , xn ) = P X = (x1 , . . . , xn ) = P(X1 = x1 , . . . , Xn = xn ).

Die Verteilung der einzelnen Zufallsgrößen Xi erhält man, indem man die i-te Randverteilung
oder Marginalverteilung von pX bildet, die gegeben ist durch
X
P(Xi = xi ) = pXi (xi ) = pX (x1 , . . . , xn ), xi ∈ Xi (Ω).
x1 ,...,xi−1 ,xi+1 ,...,xn

Beispiel 3.2.6 enthielt ein Beispiel für eine gemeinsame Verteilung von nicht unabhängi-
gen Zufallsgrößen. Nun folgt der angekündigte Zusammenhang zwischen Unabhängigkeit und
Produktverteilungen.

Lemma 3.2.9 (Zufallsvektoren mit unabhängigen Komponenten). Es seien X1 , . . . , Xn Zufalls-

größen. Dann sind X1 , . . . , Xn genau dann unabhängig, wenn die Verteilung von X gleich der
Produktverteilung der Verteilungen der X1 , . . . , Xn ist.

Beweis. Diese Aussage ist nur eine Umformulierung von Lemma 3.2.2, wie man sich leicht klar
macht.
In der Situation von Lemma 3.2.9 sagt man, der Zufallsvektor X habe unabhängige Kom-
ponenten X1 , . . . , Xn .
Die folgende Bemerkung ist analog zu Lemma 2.3.2.

Bemerkung 3.2.10. Falls die Zufallsgrößen X1 , . . . , Xn auf eventuell verschiedenen Wahr-

scheinlichkeitsräumen (Ω1 , p1 ), . . . , (Ωn , pn ) definiert sind, können wir sie auf dem Produkt-
raum (Ω, p) der (Ω1 , p1 ), . . . , (Ωn , pn ) (siehe Definition 2.3.1) in einer solchen Weise definie-
ren, dass sie unabhängig sind. Dazu betrachten wir die Zufallsgrößen X1(1) , . . . , Xn(n) , die durch
Xi(i) ((ω1 , . . . , ωn )) = Xi (ωi ) definiert sind. Mit Hilfe der kanonischen Projektion πi : Ω → Ωi
können wir auch Xi(i) = Xi ◦ πi schreiben. Dann ist die Verteilung von Xi(i) (auf Ω) gleich
der von Xi (auf Ωi ), wie man sich leicht klar macht. Ferner sind die Variablen X1(1) , . . . , Xn(n)
3.2. UNABHÄNGIGKEIT VON ZUFALLSGRÖSSEN 27

unabhängig, denn für alle x1 , . . . , xn gilt

X
P(X1(1) = x1 , . . . , Xn(n) = xn ) = p(ω1 , . . . , ωn )
(i)
ω∈Ω : Xi (ω)=xi ∀i
X X n
Y
= ··· pi (ωi )
ω1 ∈Ω1 : X1 (ω1 )=x1 ωn ∈Ωn : Xn (ωn )=xn i=1
Yn X
= pi (ωi )
i=1 ωi ∈Ωi : Xi (ωi )=x1
Yn n
Y
= Pi (Xi = xi ) = P(Xi(i) = xi ).
i=1 i=1
Hierbei ist p in Definition 2.3.1 eingeführt worden, und P und Pi sind die zu p bzw. zu pi
gehörigen Wahrscheinlichkeitsmaße auf Ω bzw. auf Ωi . 3
Aus Familien unabhängiger Zufallsgrößen kann man andere Familien unabhängiger Zufalls-
größen gewinnen, indem man sie auf disjunkte Weise irgendwie mit einander kombiniert:
Lemma 3.2.11 (Kombinationen unabhängiger Zufallsgrößen). Es sei (Xi )i∈I eine Familie un-
abhängiger Zufallsgrößen, wobei I eine beliebige Indexmenge sei. Ferner seien I1 , I2 , . . . endliche,
paarweise disjunkte Teilmengen von I, und für jedes j ∈ N sei Yj eine Zufallsgröße, die aus den
Zufallsvariablen Xi mit i ∈ Ij gebildet sei, also Yj = fj ((Xi )i∈Ij ) für eine geeignete Funktion fj .
Dann sind die Zufallsvariablen Yj mit j ∈ N unabhängig.

Beweis. (Wegen der notationellen Unhandlichkeit formulieren wir diesen Beweis nicht voll aus.)
Es seien k ∈ N und y1 ∈ Y1 (Ω), . .Q . , yk ∈ Yk (Ω), dann müssen wir die Gültigkeit der Pro-
duktformel P(Y1 = y1 , . . . , Yk = yk ) = kj=1 P(Yj = yj ) zeigen. Um dies zu tun, zerlegen wir das
Ereignis {Yj = yj } zunächst in eine disjunkte Vereinigung von Ereignissen, die mit Hilfe der Xi
mit i ∈ Ij gebildet werden:
[
{Yj = yj } = (Xi )i∈Ij = (xi )i∈Ij . (3.2.1)

(xi )i∈Ij : fj (xi )i∈Ij =yj

Nun erhält man einen Ausdruck für das Produkt kj=1 P(Yj = yj ), indem man in (3.2.1) zu den
Q
Wahrscheinlichkeiten übergeht, die Summenformel für disjunkte Vereinigungen benutzt, über
j = 1, . . . , k multipliziert und die Wahrscheinlichkeiten der Ereignisse auf der rechten Seite von
(3.2.1) mit Hilfe der Unabhängigkeit der Xi in Produkte von einzelnen Wahrscheinlichkeiten
zerlegt.
Auf der anderen Seite erhält man analog zu (3.2.1) eine Darstellung des Ereignisses {Y1 =
y1 , . . . , Yk = yk } als disjunkte Vereinigung von Ereignissen, die mit Hilfe von (Xi )i∈Ij für j ∈
{1, . . . , k} gebildet werden. Die Wahrscheinlichkeit dieser Vereinigung errechnet man analog und
stellt durch Vergleich mit dem Resultat der obigen Rechnung fest, dass sie identisch ist mit dem
Produkt der Wahrscheinlichkeiten der Ereignisse {Yj = yj }.
Das folgende wichtige Korollar zu Lemma 3.2.11 erhält man durch die Wahl von einelemen-
tigen Teilindexmengen:
Korollar 3.2.12. Falls die Zufallsvariablen Xi mit i ∈ N unabhängig sind, so auch die Zufalls-
variablen fi (Xi ) mit i ∈ N, wobei fi beliebige Funktionen sind.
28 KAPITEL 3. ZUFALLSGRÖSSEN, ERWARTUNGSWERTE UND VARIANZEN

3.3 Erwartungswerte
Wir führen einen zentralen Begriff der Wahrscheinlichkeitstheorie ein: den Begriff des ‘erwar-
teten Wertes’ einer Zufallsgröße. Man erhält diesen Wert, indem man über alle Werte, die die
Zufallsgröße annehmen kann, mittelt mit den Gewichten, die durch die Einzelwahrscheinlichkei-
ten gegeben sind.

Definition 3.3.1 (Erwartungswert). WirPsagen, eine Zufallsgröße X : Ω → R besitzt einen

endlichen Erwartungswert, falls die Reihe ω∈Ω p(ω)|X(ω)| konvergiert. In diesem Fall schrei-
ben wir auch X ∈ L1 (P) (oder auch einfach X ∈ L1 ) und definieren den Erwartungswert von
X als die Zahl X
E(X) = p(ω)X(ω).
ω∈Ω

In Erweiterung von Definition 3.3.1 P

können wir auch für jede nicht negative Zufallsgröße X
den Erwartungswert von X als E(X) = ω∈Ω p(ω)X(ω) definieren, auch wenn die Reihe diver-
giert. In letzterem Fall setzen wir E(X) = ∞. In der selben Weise können wir auch Zufallsgrößen
behandeln, die nach unten beschränkt sind oder nach oben beschränkt.
P
Die Voraussetzung der absoluten Konvergenz der Reihe ω∈Ω p(ω)X(ω) sichert, dass der
Wert dieser Reihe nicht von der gewählten Aufzählung von Ω abhängt. Außerdem impliziert sie
etliche Rechenregeln, die man vom Begriff des Erwartungswertes erwartet:

Lemma 3.3.2 (EigenschaftenP

des Erwartungswertes). (a) Eine Zufallsgröße X liegt genau dann
1
in L , wenn die Reihe
P x∈X(Ω) |x|P(X = x) konvergiert. In diesem Fall gilt E(X) =
x∈X(Ω) xP(X = x).

(b) Falls X, Y ∈ L1 mit X ≤ Y , so gilt E(X) ≤ E(Y ). (Monotonie des Erwartungswertes)

(c) Falls X, Y ∈ L1 und c ∈ R, so ist X + cY ∈ L1 , und es gilt E(X + cY ) = E(X) + cE(Y ).

(Linearität des Erwartungswertes)

(d) Falls X, Y ∈ L1 unabhängig sind, so ist auch XY ∈ L1 , und es gilt E(XY ) = E(X)E(Y ).
(Produktregel bei Unabhängigkeit)

Beweis.
(a) Die erste Aussage wird gezeigt durch die Rechnung
X X X X X
|x|P(X = x) = |x| p(ω) = |X(ω)|p(ω)
x∈X(Ω) x∈X(Ω) ω : X(ω)=x x∈X(Ω) ω : X(ω)=x
X
= |X(ω)|p(ω),
ω∈Ω

und die zweite Aussage folgt aus einer Wiederholung dieser Rechnung ohne Betragstriche.
(b) folgt mit Hilfe von (a) aus den Regeln für absolut konvergente Reihen.
(c) folgt mit Hilfe von Definition 3.3.1 aus den Rechenregeln für absolut konvergente Reihen.
3.3. ERWARTUNGSWERTE 29

(d) Wir spalten auf nach allen Werten von X:

X XX X
|z|P(XY = z) = |z|P(XY = z, X = x) = |z|P(X = x, Y = z/x)
z z6=0 x x,z6=0
X X
= |x| |y|P(X = x, Y = y) = |x| |y|P(X = x)P(Y = y)
x,y6=0 x,y6=0
X X
= |x|P(X = x) |y|P(Y = y),
x y

wobei wir im vorletzten Schritt die Unabhängigkeit von X und Y benutzten. Dies zeigt, dass
XY ∈ L1 . Die behauptete Gleichung folgt durch eine Wiederholung der obigen Rechnung ohne
Betragstriche.
Für die Behandlung des Erwartungswertes von zusammengesetzten Zufallsgrößen ist das
folgende Lemma nützlich. Wir erinnern an die Definition 3.2.8.
Lemma 3.3.3. Es seien X1 , . . . , Xn Zufallsgrößen, und es sei g : X1 (Ω) × · · · × Xn (Ω) → R
eine Abbildung. Dann existiert der Erwartungswert der Zufallsgröße Y = g(X1 , . . . , Xn ) = g ◦
(X1 , . . . , Xn ) genau dann, wenn die Reihe
X X
··· g(x1 , . . . , xn )P(X1 = x1 , . . . , Xn = xn )
x1 ∈X1 (Ω) xn ∈Xn (Ω)

absolut konvergiert, und der Wert der Reihe ist dann gleich E(Y ).

Beweis. Wir machen Ω0 = X1 (Ω) × · · · × Xn (Ω) zu einem Wahrscheinlichkeitsraum (Ω0 , p0 ),

indem wir p0 (x1 , . . . , xn ) = P(X1 = x1 , . . . , Xn = xn ) setzen. Dann ist die Verteilung von g auf
Ω0 identisch mit der von Y auf Ω. Also folgt die Aussage aus Lemma 3.3.2(a).
Nun bestimmen wir die Erwartungswerte einiger wichtiger Verteilungen.
Beispiel 3.3.4 (Erwartungswert der Binomialverteilung). Sei X eine binomialverteilte Zufalls-
n k n−k

größe, also P(X = k) = Bin,p (k) = k p (1 − p) für k ∈ {0, . . . , n}, wobei n ∈ N0 und
p ∈ [0, 1]. Es ist durchaus möglich, den Erwartungswert von X mit Hilfe von Lemma 3.3.2(a)
zu berechnen (Übungsaufgabe: Man führe dies durch), doch wir schlagen einen weniger rech-
nenaufwändigen Weg ein, indem wir Lemma 3.3.2(c) benutzen. Wir erinnern Pn uns (siehe Beispie-
Pn
le 3.1.3 und 3.2.4), dass wir X auf dem P Raum Ω = {0, 1}n mit q(ω) = p i=1 ωi (1 − p)n− i=1 ωi
definieren
Pn können, indem wir X(ω) = ni=1 ωi setzen. Mit anderen Worten, wir haben X =
i=1 Xi mit den in Beispiel 3.2.4 definieren Bernoulli-Größen. Jedes Xi nimmt die Werte 1 und
0 mit Wahrscheinlichkeit p bzw. 1−p an, also sieht man leicht, dass E(Xi ) = 1·p+0·(1−p)
Pn = p ist.
Mit Hilfe der Linearität des Erwartungswertes erhält man also leicht, dass E(X) = i=1 E(Xi ) =
np. 3
Beispiel 3.3.5 (Erwartungswert der geometrischen Verteilung). Es sei X eine zum Parameter
p ∈ (0, 1) auf N geometrisch verteilte Zufallsgröße, also P(X = k) = Geop (k) = p(1 − p)k−1 für
k ∈ N. Zur Berechnung des Erwartungswertes von X (und für viele andere Berechnungen für geo-
metrisch verteilte Zufallsgrößen) ist der folgende Trick sehr hilfreich. Eine gliedweise Differenzia-
tion der Identität ∞
P k = x nach x für |x| < 1 liefert die Gleichung
P∞ k−1 = 1
k=1 x 1−x k=1 kx (1−x)2
.
Eine Anwendung auf x = 1 − p liefert dann mit Hilfe von Lemma 3.3.2(a):
∞ ∞
X X 1 1
E(X) = kP(X = k) = p k(1 − p)k−1 = p 2
= .
p p
k=1 k=1
30 KAPITEL 3. ZUFALLSGRÖSSEN, ERWARTUNGSWERTE UND VARIANZEN

Eine auf N0 = N ∪ {0} geometrisch verteilte Zufallsgröße hat die Verteilung von X − 1, also den
Erwartungswert p1 − 1. 3
Beispiel 3.3.6 (Erwartungswert der Poisson-Verteilung). Sei X eine zum Parameter α > 0
k
Poisson-verteilte Zufallsgröße, also P(X = k) = αk! e−α für k ∈ N0 . Der Erwartungswert von X
kann leicht mit Lemma 3.3.2(a) berechnet werden:
∞ ∞
X
−α
X αk X αk
E(X) = kP(X = k) = e = αe−α = α,
(k − 1)! k!
k∈N0 k=1 k=0

wobei wir im vorletzten Schritt eine Laufindexverschiebung durchführten. 3

Beispiel 3.3.7. Wir erinnern an die in Beispiel 2.2.8 eingeführte Verteilung auf N, die durch
q(k) = k −s ζ(s)−1 gegeben ist, wobei s > 1. Da die Reihe k∈N kq(k) genau dann konvergiert,
P
wenn s > 2, existiert der Erwartungswert dieser Verteilung also nur im Fall s > 2. Ihr Wert ist
dann ζ(s − 1)/ζ(s). 3

Die folgende Formel ist manchmal hilfreich, wenn eine N0 -wertige Zufallsgröße X nur durch
Angabe ihrer ‘Schwänze’ P(X > k) gegeben ist. (Letzteres ist manchmal einfacher, weil man
bei dieser Festlegung der Verteilung von X nicht auf Normierung achten muss, sondern nur auf
Monotonie.)
Lemma 3.3.8. Der Erwartungswert einer N0 -wertigen Zufallsgröße X (egal, ob er endlich ist
oder nicht) ist gegeben durch
∞
X
E(X) = P(X > k).
k=0

Beweis. Übungsaufgabe.

3.4 Varianzen
Die Kenngröße ‘Erwartungswert’ gibt natürlich bei weitem keine erschöpfende Information über
die Zufallsgröße. Eine nützliche zusätzliche Information ist zum Beispiel die Antwort auf die
Frage, wie stark die Zufallsgröße im Durchschnitt von ihrem Erwartungswert abweicht. Eine
Kenngröße, die dies angibt, ist die Varianz.

Definition 3.4.1. Es sei X eine Zufallsgröße mit existierendem Erwartungswert E(X) sowie
mit E(X 2 ) < ∞. Die Varianz von X ist der Ausdruck
X
V(X) = (x − E(X))2 P(X = x) ∈ [0, ∞),
x
p
und die Standardabweichung von X als S(X) = V(X).

Man sieht leicht mit Hilfe von Lemma 3.3.2(a) ein, dass V(X) der Erwartungswert der
Zufallsgröße ω 7→ (X(ω) − E(X))2 ist, also
V(X) = E (X − E(X))2 .

3.4. VARIANZEN 31

Beispiel 3.4.2 (Varianz einer Gleichverteilung). Wenn eine Zufallsgröße X auf einer n-elementigen
Menge {x1 , . . . , xn } gleichverteilt ist, so sind
n n
1X 1X
E(X) = xi und V(X) = (xi − E(X))2 .
n n
i=1 i=1

Also ist E(X) der Mittelwert der x1 , . . . , xn , und V(X) ist die mittlere quadratische Abweichung
davon. 3
Beispiel 3.4.3 (Varianz der Bernoulli-Verteilung). Eine Bernoulli-verteilte Zufallsgröße X nimmt
die Werte 1 und 0 mit Wahrscheinlichkeit p ∈ [0, 1] bzw. (1−p) an. Also ist E(X) = p, und die Va-
rianz berechnet sich nach Definition 3.4.1 zu V(X) = (0 − E(X))2 P(X = 0) + (1 − E(X))2 P(X =
1) = p2 (1 − p) + (1 − p)2 p = p(1 − p). 3

Die Varianz einer binomialverteilten Zufallsgröße kann man durchaus unter Verwendung
der Definition 3.4.1 direkt berechnen, aber in Beispiel 3.5.4 werden wir einen eleganten Weg
präsentieren.
Einige einfache Eigenschaften der Varianz sind im folgenden Lemma aufgelistet.
Lemma 3.4.4. Es seien X, Y ∈ L1 .
(a) Die Varianz von X existiert genau dann, wenn E(X 2 ) < ∞. In diesem Fall schreiben wir
X ∈ L2 , und es gilt die Formel
V(X) = E(X 2 ) − E(X)2 .

(b) Seien a, b ∈ R. Falls die Varianz von X existiert, dann auch die von a + bX, und es gilt
V(a + bX) = b2 V(X).
(c) Falls X und Y unabhängig sind mit existierenden Varianzen, dann existiert auch die Va-
rianz von X + Y , und es gilt V(X + Y ) = V(X) + V(Y ).
(d) Falls V(X) existiert und V(X) = 0 ist, so existiert ein x ∈ R mit P(X = x) = 1.

Beweis.
(a): Wegen
(x − E(X))2 P(X = x) = x2 P(X = x) − 2xE(X)P(X = x) + E(X)2 P(X = x)
P
ist die erste Behauptung
P klar, denn die absolute Konvergenz von x xP(X = x) ist vorausgesetzt
und die von x P(X = x) ist klar. Die behauptete Gleichung erechnet man leicht, indem man
die obige Beziehung über x summiert und zusammenfasst.
(b): Dies errechnet sich leicht mit Hilfe von (a) und der Linearität des Erwartungswertes.
(c): Wir benutzen (a) für X + Y und multiplizieren aus und erhalten
V(X + Y ) = E(X 2 ) + 2E(XY ) + E(Y 2 ) − E(X)2 − 2E(X)E(Y ) − E(Y )2 .
Nun sehen wir mit Hilfe von Lemma 3.3.2(d), dass die rechte Seite gleich E(X 2 ) − E(X)2 +
E(Y 2 ) − E(Y )2 ist, nach (a) also gleich V(X) + V(Y ).
(d): Dies sieht man leicht aus der Definition 3.4.1: Falls V(X) = 0, so muss für jedes x ∈ R
entweder x = E(X) oder P(X = x) = 0 sein.
32 KAPITEL 3. ZUFALLSGRÖSSEN, ERWARTUNGSWERTE UND VARIANZEN

Beispiel 3.4.5 (Varianz der Poisson-Verteilung). Die Varianz einer zum Parameter α > 0
Poisson-verteilten Zufallsgröße X (siehe Beispiel 3.3.6) ist V(X) = α. (Übungsaufgabe) 3

Beispiel 3.4.6 (Varianz der geometrischen Verteilung). Als Übungsaufgabe berechne man die
Varianz einer geometrisch verteilten Zufallsgröße. (Man verwende den in Beispiel 3.3.5 erläuter-
ten Trick ein zweites Mal.) 3

Die Varianz bzw. der Erwartungswert besitzt die folgende Minimaleigenschaft:

Lemma 3.4.7 (Minimale quadratische Abweichung). Für jede Zufallsgröße X ∈ L2 gilt die
Abschätzung
E (X − a)2 ≥ V(X),

a ∈ R,
mit Gleichheit genau dann, wenn a = E(X).

Beweis. Mit Hilfe der Linearität des Erwartungswerts errechnet man leicht, dass E((X − a)2 ) =
V(X) + (a − E(X))2 für jedes a ∈ R. Also ist die Aussage evident.

3.5 Kovarianzen
In diesem Abschnitt stellen wir eine Kenngröße vor, die über die Abhängigkeiten zweier gege-
bener Zufallsgrößen eine gewisse Aussage macht.

Definition 3.5.1. Es seien X und Y zwei Zufallsgrößen mit existierenden Varianzen. Die
Kovarianz von X und Y ist die Zahl cov(X, Y ) = E(XY ) − E(X)E(Y ). Wir nennen X und Y
unkorreliert, falls cov(X, Y ) = 0.

Die Kovarianz ist wohldefiniert, denn der Erwartungswert von XY existiert auf Grund der
Abschätzung 2|XY | ≤ X 2 + Y 2 und Lemma 3.4.4(a).
Einige evidente Eigenschaften der Kovarianz werden nun gesammelt:

Lemma 3.5.2. (a) Für je zwei Zufallsgrößen X und Y mit existierenden Varianzen gilt

cov(X, Y ) = E (X − E(X))(Y − E(Y )) .

Insbesondere gelten cov(X, X) = V(X) und cov(X, Y ) = cov(Y, X), und cov(·, ·) ist linear
in jedem der beiden Argumente.

(b) Für je n Zufallsgrößen X1 , . . . , Xn mit existierenden Varianzen gilt

n
X Xn n
X
V Xi = V(Xi ) + cov(Xi , Xj ).
i=1 i=1 i,j=1
i6=j

(c) Falls X und Y unabhängige Zufallsgrößen mit existierenden Varianzen sind, so sind X
und Y unkorreliert.
3.5. KOVARIANZEN 33

Beweis. Übungsaufgabe.
Aus der ersten Beziehung in Lemma 3.5.2(a) folgt auch, dass sich die Kovarianz von X und
Y nicht ändert, wenn zu X oder Y Konstanten addiert werden.
Die Aussage in Lemma 3.5.2(c) kann nicht ohne Weiteres umgekehrt werden, wie das folgen-
de Beispiel zeigt. Wir betrachten auf Ω = {−1, 0, 1} mit der Gleichverteilung die Zufallsgröße
X, gegeben durch X(ω) = ω. Als Übungsaufgabe vergewissere man sich, dass die beiden Zu-
fallsgrößen X und |X| zwar unkorreliert, aber nicht unabhängig sind.
Eine direkte Folgerung aus Lemma 3.5.2(b) ist die folgende Aussage.

Korollar 3.5.3 (Satz von Bienaymé). Für paarweise unkorrelierte Zufallsgrößen X1 , . . . , Xn

mit existierenden Varianzen gilt V(X1 + · · · + Xn ) = V(X1 ) + · · · + V(Xn ).

Beispiel 3.5.4 (Varianz der Binomialverteilung). Im Kontext von Beispiel 3.3.4 wissen wir
schon aus Beispiel 3.4.3, dass V(Xi ) = p(1 − p). Da die Zufallsgrößen X1 , . . . , Xn unabhängig
sind, also nach Lemma3.3.2(d) auch paarweise unkorreliert, erlaubt der Satz von Bienaymé, die
Varianz von X wie folgt zu berechen: V(X) = V(X1 +· · ·+Xn ) = V(X1 )+· · ·+V(Xn ) = np(1−p).
3

Die folgende Minimaleigenschaft der Kovarianz ist manchmal hilfreich, wenn man eine (even-
tuell schwer zugängliche) Zufallsvariable Y mit Hilfe einer linearen Funktion einer (leichter zu
erhaltenden) Zufallsvariablen X annähern möchte.
Lemma 3.5.5 (Beste lineare Vorhersage). Es seien X, Y ∈ L2 mit V(X) = 1. Dann wird die
quadratische Abweichung
E (Y − a − bX)2

zwischen Y und der linearen Funktion a + bX von X minimiert genau für b = cov(X, Y ) und
a = E(Y − bX). Falls insbesondere X und Y unkorreliert sind, so hängt die Lösung b = 0 und
a = E(Y ) nicht von X ab.

Beweis. Man errechnet leicht, dass gilt:

2 2
E (Y − a − bX)2 = b − cov(X, Y )) + a − E[Y − bX] − cov(X, Y )2 + V(Y ).

Daraus ergibt sich die Aussage.

Eine der wichtigsten Ungleichungen ist die folgende.

Satz 3.5.6 (Cauchy-Schwarz-Ungleichung). Für je zwei Zufallsgrößen X und Y gilt

p p
|E(XY )| ≤ E(X 2 ) E(Y 2 ).

Gleichheit gilt genau dann, wenn es reelle Zahlen a, b gibt, die nicht beide Null sind, sodass
P(aX + bY = 0) = 1, d. h. wenn X und Y konstante Vielfache von einander sind.

Beweis. Wir setzen α = E(Y 2 ) und β = E(XY ). Wir dürfen annehmen, dass α > 0, denn
sonst wäre P(Y = 0) = 1, also auch E(XY ) = 0, und die behauptete Ungleichung stimmt
34 KAPITEL 3. ZUFALLSGRÖSSEN, ERWARTUNGSWERTE UND VARIANZEN

trivialerweise. Nun errechnen wir durch Ausmultiplizieren und mit Hilfe der Linearität des Er-
wartungswertes:

0 ≤ E((αX − βY )2 ) = α2 E(X 2 ) − 2αβ E(XY ) + β 2 E(Y 2 )

= α E(X 2 )E(Y 2 ) − E(XY )2 .

Da α > 0, folgt die behauptete Ungleichung.

Falls Gleichheit gilt, so ist der Erwartungswert von (αX − βY )2 gleich Null, also folgt
P(αX − βY = 0) = 1. Falls α > 0, so können wir α = a und β = b wählen. Falls α = 0, so
können wir a = 0 und b = 1 wählen.
Aus einer Anwendung der Cauchy-Schwarz-Ungleichung auf die Zufallsgrößen X − E(X)
und Y − E(Y ) folgt insbesondere die Ungleichung

cov(X, Y )
−1 ≤ ≤1
S(X)S(Y )

für alle Zufallsgrößen

p X und Y , deren Varianzen existieren, wobei wir daran erinnern, dass
S(X) = V(X) die Standardabweichung von X ist. Der obige Quotient wird der Korrelations-
koeffizient genannt.
Die Bedingung cov(X, Y ) > 0 bedeutet, dass eine Tendenz vorliegt, nach der das Ereignis
{X > E(X)} öfter mit dem Ereignis {Y > E(Y )} zusammen auftritt als mit {Y ≤ E(Y )}. Man
sagt, X und Y seien positiv korreliert. Das impliziert allerdings noch lange nicht, dass X eine
(Mit-)Ursache für Y ist oder umgekehrt, auch wenn dieser Fehlschluss oft und gerne gemacht
wird.

3.6 Faltungen
Wenn X und Y zwei unabhängige Zufallsgrößen sind, was ist dann die Verteilung der Summe
X + Y ? Wir geben eine Antwort durch Summation über alle Werte, die X annehmen kann.
Die Ausnutzung der Unabhängigkeit führt uns auf natürliche Weise zum Begriff der Faltung.
In diesem Abschnitt werden wir nur Z-wertige Zufallsgrößen betrachten. Daher ist die Menge Z
der natürliche Indexbereich der von uns betrachteten Folgen.

Definition 3.6.1. Die Faltung zweier absolut summierbarer Folgen P a = (ax )x∈Z und b =
(by )y∈Z ist die Folge c = (cz )z∈Z , die gegeben ist durch cz = x∈Z ax bz−x . Wir schreiben
c = a ? b.

Man sieht leicht, dass ? assoziativ und kommutativ ist und dass a ? b eine absolut summier-
bare Folge ist, wenn a und b dies sind.

Satz 3.6.2 (Faltungssatz). Seien X und Y zwei unabhängige Z-wertige Zufallsgrößen mit
Verteilungen pX und pY , d. h. pX (x) = P(X = x) und pY (y) = P(Y = y) für alle x, y ∈ Z.
Dann ist die Verteilung von X +Y gleich der Faltung pX ?pY , d. h. P(X +Y = z) = (pX ?pY )(z)
für alle z ∈ Z.
3.6. FALTUNGEN 35

Beweis. Wir summieren über alle Werte, die X annehmen kann, und erhalten für alle z ∈ Z:
X X
P(X + Y = z) = P(X = x, Y = z − x) = P(X = x)P(Y = z − x)
x∈Z x∈Z
X
= pX (x)pY (z − x) = (pX ? pY )(z).
x∈Z

Beispiel 3.6.3 (Binomialverteilung). Die Summe zweier unabhängiger binomialverteiler Zu-

fallsgrößen zu den Parametern n1 und p bzw. n2 und p ist eine zu den Parametern n1 + n2
und p binomialverteilte Zufallsgröße. Dies sieht man am einfachsten ein, indem man die beiden
Zufallsgrößen jeweils als Summe von n1 bzw. n2 unabhängigen Bernoulli-Zufallsgrößen darstellt.
Man sagt, die Familie der zum Parameter n binomialverteilten Zufallsgrößen (mit festem zweiten
Parameter p) bildet eine Faltungshalbgruppe.
Als eine Anwendung von Satz 3.6.2 beweisen wir die eingangs erwähnte Aussage noch einmal,
indem wir zeigen, dass Bin1 ,p ? Bin2 ,p = Bin1 +n2 ,p gilt, wobei wir die Folge Bin,p (die ja nur auf
{0, . . . , n} definiert ist) trivial mit Null zu einer Folge mit Indexmenge Z fortsetzen.
Es sei also k ∈ {0, . . . , n1 + n2 }, dann gilt
X
Bin1 ,p ? Bin2 ,p (k) = Bin1 ,p (l)Bin2 ,p (k − l)
l∈Z
min{n1 ,k}
X n1 l n1 −l n2
= p (1 − p) pk−l (1 − p)n2 −k+l
l k−l
l=max{0,k−n2 }
min{n1 ,k} n1
n2

X l k−l
= Bin1 +n2 ,p (k) n1 +n2
,
l=max{0,k−n2 } k

wie eine direkte Rechnung ergibt. Nun beachte man, dass der Quotient hinter dem Summenzei-
chen die hypergeometrische Wahrscheinlichkeit mit Parametern n1 , n2 und k ist, ausgewertet in
l. Da der Summationsbereich genau derjenige ist, auf der diese Verteilung definiert ist, ist also die
Summe gleich Eins. Dies beweist die Behauptung Bin1 ,p ? Bin2 ,p = Bin1 +n2 ,p auf {0, . . . , n1 + n2 },
und man sieht leicht, dass sie trivialerweise auch in Z \ {0, . . . , n1 + n2 } erfüllt ist. 3
Beispiel 3.6.4 (Negative Binomialverteilung). Es seien X1 , . . . , Xn unabhängige, zum Parame-
ter p ∈ (0, 1) auf N0 geometrisch verteilte Zufallsgrößen (siehe Beispiel 1.3.5), also P(Xi = k) =
p(1 − p)k für k ∈ N0 . Wir setzen X = X1 + · · · + Xn , also hat X die Verteilung Geo g ?n
p , womit
wir die n-fache Faltung der geometrischen Verteilung auf N0 bezeichnen.
Wir behaupten, dass die Verteilung von X identifiziert wird als

n+k−1 n k −n n
P(X = k) = p (1 − p) = p (p − 1)k = Negn,p (k), k ∈ N0 , (3.6.1)
k k
wobei
−n (−n)(−n − 1)(−n − 2) . . . (−n − k + 1)
= , n ∈ (0, ∞),
k k!
der allgemeine Binomialkoeffizient ist. Die Verteilung Negn,p ist unter dem Namen negative
Binomialverteilung zu den Parametern p und n bekannt. Sie kann ohne Probleme auch für
36 KAPITEL 3. ZUFALLSGRÖSSEN, ERWARTUNGSWERTE UND VARIANZEN

beliebiges n ∈ (0, ∞) definiert werden, besitzt aber die Interpretation als Summe von geometrisch
verteilten Zufallsgrößen nur für natürliche Zahlen n. Insbesondere ist Neg1,p = Geo
g p.
Wir bieten nun zwei Wege an, die Faltungsformel
g ?n = Negn,p
Geo p

für n ∈ N zu zeigen, ein dritter Weg (der sogar für alle n ∈ (0, ∞) funktioniert), folgt in
Beispiel 3.7.11. Der erste Weg macht Gebrauch von der oben erwähnten Interpretation von
Xi + 1 als die Wartezeit nach dem (i − 1)-ten bis zum i-ten Erfolg in einem unendlich langen
Bernoulli-Experiment. Dann ist also X + n die Wartezeit auf den n-ten Erfolg, gerechnet ab dem
Beginn der Serie. Also ist das Ereignis {X = k} = {X + n = k + n} das Ereignis, dass unter den
ersten k + n − 1 Spielen genau n − 1 Erfolge und k Misserfolge sind und dass das (n + k)-te Spiel
n k
dieser Serien der Länge n + k hat die Wahrscheinlichkeit p (1 − p) ,
erfolgreich ist. Jede einzelne
n−1+k
und es gibt genau k solche Serien. Dies zeigt, dass die Verteilung von X tatsächlich durch
die Formel in (3.6.1) gegeben ist.
Der zweite Weg benutzt den Faltungssatz und eine kombinatorische Überlegung. Man er-
rechnet leicht, dass für n1 , n2 ∈ N gilt:
X
Negn1 ,p ? Negn2 ,p (k) = Negn1 ,p (l)Negn2 ,p (k − l)
l∈Z
k
X n1 − 1 + l n1 l n2 − 1 + k − l n2
= p (1 − p) p (1 − p)k−l
l k−l
l=0
k n1 −1+l n2 −1+k−l

X l k−l
= Negn1 +n2 ,p (k) n1 +n2 −1+k
.
l=0 k

Dass die Summe über l den Wert Eins hat, sieht man folgendermaßen ein. Die Zahl n1 −1+l

l ist
die Anzahl der Möglichkeiten, n1 Einsen und l Nullen hinter einander in eine Reihe zu legen,
so dass die Reihe mit einer Eins endet. Analog ist n2 −1+k−l

k−l die Anzahl der Möglichkeiten, n2
Einsen und k − l Nullen in eine Reihe zu legen, so dass sie mit einer Eins endet. Wenn man
je eine solche Reihe hintereinander legt für irgendein l ∈ {0, . . . , k}, so erhält man eine Reihe
mit n1 + n2 Einsen und k Nullen, die mit einer Eins endet. Anders herum kann man jede solche
Reihe eindeutig aufspalten in zwei Reihen mit n1 bzw. n2 Einsen und l bzw. k − l Nullen für ein
geeignetes l ∈ {0, . . . , k}, so dass P
diese beiden Teilreihen jeweils mit einer Eins enden. Dies zeigt
k n1 −1+l n2 −1+k−l n1 +n2 −1+k
3

auf kombinatorische Weise, dass l=0 l k−l = k für n1 , n2 ∈ N0 .
Beispiel 3.6.5 (Poisson-Verteilung). Eine weitere Faltungshalbgruppe ist die der Poisson-
Verteilungen: Die Summe zweier unabhängiger zum Parameter α > 0 bzw. β > 0 Poisson-
verteilter Zufallsgrößen ist eine zum Parameter α + β Poisson-verteilte Zufallsgröße. Den Beweis
führt man wiederum mit Hilfe von Satz 3.6.2 (Übungsaufgabe). Ein eleganterer Beweis folgt in
Beispiel 3.7.12. 3

3.7 Erzeugende Funktionen

In diesem Abschnitt betrachten wir ausschließlich Verteilungen auf N0 = {0, 1, 2, . . . , } und
kombinieren ihre Betrachtung mit der gewisser Potenzreihen. Auf diesem Wege setzen wir einige
bekannte Ergebnisse aus der Analysis für die Beschreibung von Zufallsgrößen ein.
3.7. ERZEUGENDE FUNKTIONEN 37

Definition 3.7.1 (erzeugende Funktion). Die erzeugende Funktion einer Wahrscheinlichkeits-

verteilung (pk )k∈N0 auf N0 ist die Funktion ϕ, die gegeben ist durch
X
ϕ(s) = pk sk , |s| < 1.
k∈N0

Bemerkung 3.7.2. Da die Reihe der pk absolut konvergiert, hat die zugehörige erzeugende
Funktion ϕ mindestens den Konvergenzradius Eins, d. h., sie konvergiert mindestens im Innern
des (komplexen) Einheitskreises. Insbesondere kann man die Potenzreihe beliebig oft im Intervall
(−1, 1) gliedweise differenzieren. Auf Grund des Satzes von Taylor kann man aus der erzeugenden
Funktion mit Hilfe der Formel
ϕ(k) (0)
pk = , k ∈ N0 ,
k!
eindeutig die Koeffizienten pk erhalten, wobei ϕ(k) die k-te Ableitung bedeutet. Es besteht also
ein eineindeutiger Zusammenhang zwischen der Verteilung und ihrer erzeugenden Funktion. 3

Beispiel 3.7.3 (Binomialverteilung). Für n ∈ N und p ∈ [0, 1] ist die erzeugende Funktion der
Binomialverteilung zu den Parametern n und p (siehe Beispiel 1.3.4) gegeben durch
n n
X
k
X n k
ϕ(s) = Bin,p (k)s = p (1 − p)n−k sk = (1 − p + sp)n ,
k
k=0 k=0

wobei wir den binomischen Lehrsatz benutzten. 3

Beispiel 3.7.4 (Negative Binomialverteilung). Die erzeugende Funktion einer negativ zu den
Parametern n ∈ (0, ∞) und p ∈ [0, 1] binomialverteilten Zufallsgröße X (siehe Beispiel 3.6.4)
errechnet man als
X −n p n X p n
n
ϕ(s) = p (p − 1)k sk = Negn,1+sp−s (k) = ,
k 1 + sp − s 1 + sp − s
k∈N0 k∈N0

zunächst nur für s ∈ R mit 1 + sp − s ∈ (0, 1]. Doch da beide Seiten der Gleichung analytisch
im Einheitskreis sind, gilt sie auch dort. 3

Beispiel 3.7.5 (Poisson-Verteilung). Die erzeugende Funktion der Poisson-Verteilung zum Pa-
rameter α ∈ (0, ∞) (siehe Beispiel 1.3.6) ist gegeben durch

X X αk k
ϕ(s) = Poα (k)sk = e−α s = e−α(1−s) .
k!
k∈N0 k∈N0

Da die erzeugende Funktion die Verteilung eindeutig festlegt, ist es klar, dass auch der
Erwartungswert und die Varianz
P der Verteilung mit Hilfe
P der erzeugenden Funktion ausgedrückt
werden können. Mit E(P ) = k∈N0 kpk und V(P ) = k∈N0 (k − E(P ))2 pk bezeichnen wir den
Erwartungswert und die Varianz einer Verteilung P = (pk )k∈N0 auf N0 .
38 KAPITEL 3. ZUFALLSGRÖSSEN, ERWARTUNGSWERTE UND VARIANZEN

Satz 3.7.6. Es sei P = (pk )k∈N0 eine Verteilung auf N0 mit erzeugender Funktion ϕ.
(i) E(P ) existiert genau dann, wenn ϕ0 (1−) = lims↑1 ϕ0 (s) existiert, und dann gilt E(P ) =
ϕ0 (1−).

(ii) V(P ) existiert genau dann, wenn ϕ00 (1−) = lims↑1 ϕ00 (s) existiert, und dann gilt V(P ) =
ϕ00 (1−) − E(P )2 + E(P ).

Beweis.
(i) Für |s| < 1 existiert ϕ0 (s), und für s ↑ 1 gilt
X X
ϕ0 (s) = pk ksk−1 ↑ pk k = E(P ).
k∈N0 k∈N0

(ii) Für |s| < 1 existiert ϕ00 (s), und für s ↑ 1 gilt
X X
ϕ00 (s) = pk k(k − 1)sk−2 ↑ pk (k 2 − k).
k∈N0 k∈N0

Es ist leicht zu sehen, dass die Reihe k∈N0 pk (k 2 −k) genau dann konvergiert, wenn k∈N0 pk k 2
P P
konvergiert, d. h., wenn V(P ) existiert. In diesem Fall errechnet man leicht, dass
X
ϕ00 (1−) − E(P )2 + E(P ) = pk k 2 − E(P )2 = V(P ).
k∈N0

Beispiel 3.7.7. Indem man die in den Beispielen 3.7.3 bzw. 3.7.5 errechneten erzeugenden
Funktionen der Binomial- bzw. Poisson-Verteilung bei Eins ein bzw. zwei Mal differenziert, erhält
man als eine Übungsaufgabe, dass sie die Erwartungswerte np bzw. α und die Varianzen np(1−p)
bzw. α besitzen. (Natürlich stehen diese Ergebnisse in Übereinstimmung mit Beispielen 3.3.4
und 3.5.4 bzw. 3.3.6 und 3.4.5.) 3

Den Zusammenhang zwischen Verteilungen auf N0 und den zugehörigen erzeugenden Funk-
tionen kann man auch ausnützen bei der Behandlung von Summen unabhängiger Zufallsgrößen.
Wir bezeichnen nun die erzeugende Funktion einer Verteilung P = (pk )k∈N0 auf N0 mit ϕP . Die
erzeugende Funktion ϕX einer N0 -wertigen Zufallsvariablen X ist definiert als die erzeugende
Funktion der Verteilung von X, also
X
ϕX (s) = ϕP◦X −1 (s) = P(X = k)sk = E(sX ), |s| < 1.
k∈N0

Wir erinnern daran (siehe Abschnitt 3.6), dass die Faltung P1 ? P2 zweier Verteilungen P1
und P2 auf N0 die Verteilung der Summe zweier unabhängiger Zufallsgrößen mit Verteilung
P1 bzw. P2 ist. Es stellt sich heraus, dass die erzeugende Funktion dieser Summe gleich dem
punktweisen Produkt der beiden erzeugenden Funktionen ist:
3.7. ERZEUGENDE FUNKTIONEN 39

Satz 3.7.8 (Faltung und Unabhängigkeit). (i) Für je zwei unabhängige N0 -wertige Zufalls-
größen X1 und X2 gilt

ϕX1 +X2 (s) = ϕX1 (s)ϕX2 (s), |s| < 1.

(ii) Für je zwei Verteilungen P1 und P2 auf N0 gilt

ϕP1 ?P2 (s) = ϕP1 (s)ϕP2 (s), |s| < 1.

Beweis. (i) Nach Korollar 3.2.12 sind auch die beiden Zufallsvariablen sX1 und sX2 unabhängig.
Nach dem Produktsatz für Erwartungswerte bei Unabhängigkeit (siehe Satz 3.3.2(d)) haben wir
ϕX1 +X2 (s) = E(sX1 +X2 ) = E(sX1 sX2 ) = E(sX1 )E(sX2 ) = ϕX1 (s)ϕX2 (s).

Die Aussage in (ii) ist der Spezialfall von (i) für identische Zufallsgrößen X1 und X2 .

Bemerkung 3.7.9. Den Satz 3.7.8 kann man statt auf probabilistischem Wege auch mit Hilfe
aus der Analysis beweisen, wenn man benutzt, dass das punktweise Produkt ϕX1 (s)ϕX2 (s) wieder
eine Potenzreihe ist, deren Koeffizientenfolge die Faltung der Koeffizientenfolgen von ϕX1 (s) und
ϕX2 (s) sind, also
∞
X ∞
X X∞
ϕX1 (s)ϕX2 (s) = pX1 (k)sk pX2 (k)sk = (pX1 ? pX2 )(k)sk
k=0 k=0 k=0
∞
X
= pX1 +X2 (k)sk = ϕX1 +X2 (s),
k=0

wobei im vorletzten Schritt der Faltungssatz 3.6.2 benutzt wurde. 3

Die bemerkenswerte Aussage von Satz 3.7.8 gibt uns ein weiteres Mittel in die Hand, Ver-
teilungen von Summen unabhängiger Zufallsgrößen zu identifizieren:
Beispiel 3.7.10 (Binomialverteilung). Die erzeugende Funktion der Binomialverteilung mit Pa-
rametern n und p (siehe Beispiel 3.7.3) ist offensichtlich das n-fache Produkt der erzeugenden
Funktion einer Binomialverteilung mit Parametern 1 und p. Dies reflektiert die bekannte Tat-
sache (siehe Beispiel 3.6.3) dass eine binomialverteilte Zufallsgröße eine Summe unabhängiger
Bernoulli-Zufallsgrößen ist, oder auch die Summe unabhängiger binomialverteilter Zufallsgrößen
mit gewissen Parametern. 3
Beispiel 3.7.11 (Negative Binomialverteilung). Wie man im Beispiel 3.7.4 gesehen hat, ist
auch die erzeugende Funktion der Negativen Binomialverteilung mit Parametern n ∈ (0, ∞)
und p ∈ [0, 1] die n-te Potenz derselben Verteilung mit Parametern 1 und p. Daher ist die
Summe unabhängiger negativ zu den Parametern n1 ∈ (0, ∞) und p bzw. n2 ∈ (0, ∞) und p
binomialverteilter Zufallsgrößen negativ binomialverteilt zu den Parametern n1 + n2 und p. Also
gilt insbesondere die Faltungsformel
Negn1 ,p ? Negn2 ,p = Negn1 +n2 ,p ,
die wir in Beispiel 3.6.4 nur für natürliche Zahlen n1 und n2 bewiesen. 3
40 KAPITEL 3. ZUFALLSGRÖSSEN, ERWARTUNGSWERTE UND VARIANZEN

Beispiel 3.7.12 (Poisson-Verteilung). Ein sehr eleganter und kurzer Beweis für die Tatsache
(siehe Beispiel 3.6.5), dass die Summe zweier unabhängiger Poisson-verteilter Zufallsgrößen X
und Y mit Parametern α und β Poisson-verteilt ist mit Parameter α + β, ist nun mit Satz 3.7.8
und Beispiel 3.7.5 möglich: Die erzeugende Funktion der Summe ist gegeben durch

ϕX+Y (s) = ϕX (s)ϕY (s) = eα(s−1) eβ(s−1) = e(α+β)(s−1) .

Also wird die erzeugende Funktion von X + Y identifiziert mit der einer Poisson-Verteilung mit
Parameter α + β. Wegen der Eindeutigkeit der erzeugenden Funktion ist X + Y also Poisson-
verteilt mit diesem Parameter. 3
Kapitel 4

Wahrscheinlichkeit mit Dichten

In diesem Kapitel erweitern bzw. übertragen wir die bisher behandelte Theorie auf Wahrschein-
lichkeitsmaße bzw. Zufallsgrößen, die mit Hilfe von Integralen über Dichten beschrieben werden.
Alle in diesem Kapitel auftretenden Integrale werden als Riemann-Integrale aufgefasst, sodass
Vorkenntnisse in Analysis I ausreichen und eine Kenntnis des Lebesgue-Integrals nicht benötigt
wird. Wir werden auch darauf verzichten, Wahrscheinlichkeitsräume anzugeben, denn dies wird
nicht nötig sein für eine Behandlung der Theorie auf dem Niveau, auf dem wir sie betreiben.
Eine mathematische Fundierung wird später nachgeholt werden.
Man beachte zum Beispiel die Unmöglichkeit, die diskrete Wahrscheinlichkeitstheorie und
die Theorie der Wahrscheinlichkeit mit Dichten unter das Dach eines übergeordneten Konzepts
zu stellen; sie werden scheinbar verbindungslos neben einander stehen bleiben, mit allerdings
nicht zu übersehenden Verwandtschaften. Tatsächlich werden wir nicht einmal im Stande sein,
eine diskrete Zufallsgröße und eine über eine Dichte definierte Zufallsgröße miteinander zu ad-
dieren. Dieser beklagenswerte Zustand wird allerdings später aufgehoben werden, wenn wir das
Riemann-Integral durch das Lebesgue-Integral ersetzen werden (das ja kompatibel ist mit abzähl-
baren Operationen, im Gegensatz zum Riemann-Integral) und Maßtheorie benutzen werden.

4.1 Grundbegriffe

Definition
R 4.1.1 (Dichte, Verteilungsfunktion). (a) Eine Abbildung f : R → [0, ∞), so dass
R f (x) dx existiert und den Wert Eins hat, heißt eine Wahrscheinlichkeitsdichte oder kurz
eine Dichte.

(b) Eine Abbildung F : R → [0, 1] heißt eine Verteilungsfunktion, falls gelten:

(i) F ist monoton steigend,

(ii) limt→∞ F (t) = 1 und limt→−∞ F (t) = 0,
(iii) F ist rechtsseitig stetig (d. h. lims↓t F (s) = F (t) für jedes t ∈ R).

Rt
Bemerkung 4.1.2. (a) Falls f eine Dichte ist, so definiert F (t) = −∞ f (x) dx eine Vertei-
lungsfunktion, und zwar sogar eine stetige. Man nennt dann f eine Dichte von F . Nicht
jede stetige Verteilungsfunktion besitzt eine Dichte.

41
42 KAPITEL 4. WAHRSCHEINLICHKEIT MIT DICHTEN

(b) Falls eine Dichte f in endlich vielenR Punkten abgeändert wird, erhält man eine neue Dichte
f˜. Für jedes Intervall I gilt dann I f (x) dx = I f˜(x) dx.
R

(c) Falls eine Dichte f einer Verteilungsfunktion F stetig in einem Punkte a ist, so gilt F 0 (a) =
f (a) nach dem Hauptsatz der Differential- und Integralrechnung.
3

Definition 4.1.3 (Verteilungsfunktion und Dichte einer Zufallsgröße). Für eine reellwertige
Zufallsgröße X heißt die Abbildung FX : R → [0, 1], definiert durch FX (t) = P(X ≤ t), die
Verteilungsfunktion von X. Wir sagen, X hat eine Dichte, wenn ihre Verteilungsfunktion FX
eine hat.

Bemerkung 4.1.4. (a) Falls X eine diskrete Zufallsgröße ist, so ist FX die rechtsstetige Trep-
penfunktion, die in den Punkten x mit P(X = x) > 0 einen Sprung der Größe P(X = x)
macht. Insbesondere hat X keine Dichte.

(b) Wenn eine Zufallsgröße X eine Dichte f hat, dann gilt

Z
−1

P X ∈A =P◦X (A) = f (x) dx, (4.1.1)
A

für alle Mengen A ⊂ R, für die die Abbildung f 1lA Riemann-integrierbar ist, also minde-
stens für alle endlichen Vereinigungen A von Intervallen. Insbesondere ist P(X = x) = 0
für alle x ∈ R, denn
1
Z x+ n
1
0 ≤ P(X = x) ≤ P x ≤ X ≤ x + = f (y) dy −→ 0 für n → ∞.
n x

Da X einzelne Werte mit Wahrscheinlichkeit Null annimmt, gilt insbesondere P(X ∈

[a, b]) = P(X ∈ (a, b]) = P(X ∈ (a, b)) etc. Wir werden allerdings keinen Wahrscheinlich-
keitsraum angeben, auf dem X definiert wäre.

(c) Wir sagen, ein Wahrscheinlichkeitsmaß P auf Ω = R besitzt eine Dichte f ,Rwenn die
identische Zufallsgröße X(ω) = ω eine hat. In diesem Fall gilt also P(A) = A f (x) dx
für alle Mengen A ⊂ R, für die f 1lA Riemann-integrierbar ist, mindestens aber für alle
endlichen Vereinigungen von Intervallen.
3

4.2 Übertragung der bisherigen Ergebnisse

Die meisten allgemeinen Aussagen der voran gegangenen Kapitel über Wahrscheinlichkeiten,
Erwartungswerte, Varianzen, Kovarianzen und Unabhängigkeit gelten analog auch für Wahr-
scheinlichkeitsmaße bzw. Zufallsgrößen mit Riemann-integrierbaren Dichten, und die Beweise
laufen analog. In den meisten RFällen genügt es, die auftretenden Summen über x ∈ X(Ω) durch
die entsprechenden Integrale R . . . dx und den Term P(X = x) durch die Dichte f (x) zu er-
setzen und die Sprechweise anzupassen. Ausdrücke, die explizit den Wahrscheinlichkeitsraum Ω
involvieren, müssen wir außen vor lassen.
4.2. ÜBERTRAGUNG DER BISHERIGEN ERGEBNISSE 43

Da das Riemann-Integral allerdings (anders als das Lebesgue-Integral) keine abzählbaren

Additivitätseigenschaften aufweist1 , können also diejenigen Eigenschaften, die auf der zweiten
Aussage in den Kolmogorov’schen Axiomen in Bemerkung 1.1.4 beruhen, nicht gefolgert werden
und müssen durch die entsprechende endliche Additivität ersetzt werden.
Im Einzelnen gilt Folgendes.

Grundbegriffe

Die Rechenregeln für Wahrscheinlichkeiten in Lemma 1.1.5(a)-(c) gelten wörtlich auch für Wahr-
scheinlichkeitsmaße P mit Dichten, aber die Aussage in (d) muss auf endliche Familien von Er-
eignissen eingeschränkt werden. Die bedingte Wahrscheinlichkeit wird wie in Definition 2.1.2
definiert, und ihre Eigenschaften in Lemma 2.1.4 (allerdings nur für endliche Familien von Er-
eignissen) und die Multiplikationsformel in Lemma 2.1.6 gelten ebenso für Wahrscheinlichkeiten
mit Dichten.

Gemeinsame Verteilungen und Randdichten

Definition 4.2.1 (gemeinsame Verteilungsfunktion und Dichte). Die gemeinsame Verteilungs-

funktion von Zufallsgrößen X1 , . . . , Xn , also die Verteilungsfunktion des Zufallsvektors X =
(X1 , . . . , Xn ), ist definiert durch

FX (t1 , . . . , tn ) = P X1 ≤ t1 , . . . , Xn ≤ tn
= P ◦ X −1 (−∞, t1 ] × · · · × (−∞, tn ] ,

t1 , . . . , tn ∈ R.

Wir sagen, X1 , . . . , Xn haben eine gemeinsame Dichte f : Rn → [0, ∞) (oder der Zufallsvektor
X = (X1 , . . . , Xn ) habe eine Dichte f ), falls gilt
Z
−1
P(X ∈ A) = P ◦ X (A) = f (x1 , . . . , xn ) dx1 . . . dxn
A

für alle A ⊂ Rn , für die die Abbildung f 1lA Riemann-integrierbar ist.

Bemerkung 4.2.2. (a) Wenn X1 , . . . , Xn die Verteilungsfunktion FX haben, so hat jedes Xi

die Verteilungsfunktion
FXi (ti ) = P(X1 < ∞, . . . , Xi−1 < ∞, Xi ≤ ti , Xi+1 < ∞, . . . , Xn < ∞)
= lim FX (t1 , . . . , tn ).
t1 ,...,ti−1 ,ti+1 ,...,tn →∞

(b) Wenn X1 , . . . , Xn eine gemeinsame Dichte f haben, dann gilt insbesondere

n
Y Z
−1
FX (t1 , . . . , tn ) = P ◦ X (−∞, ti ] = Q f (x1 , . . . , xn ) dx1 . . . dxn
n
i=1 i=1 (−∞,ti ]
Z tn Z t1
= ··· f (x1 , . . . , xn ) dx1 . . . dxn , t1 , . . . , tn ∈ R.
−∞ −∞
1
Zum Beispiel ist für jedes x ∈ Q ∩ [0, 1] die Abbildung 1l{x} Riemann-integrierbar, nicht aber ihre abzählbare
Summe 1lQ∩[0,1] .)
44 KAPITEL 4. WAHRSCHEINLICHKEIT MIT DICHTEN

(Der Satz von Fubini garantiert, dass der Wert dieses n-fachen Integrals nicht von der Rei-
henfolge der Integration abhängt.) Insbesondere besitzen auch die einzelnen Zufallsgrößen
X1 , . . . , Xn jeweils eine Dichte, und zwar erhält man eine Dichte von Xi , indem man f
über alle Werte, die die anderen Zufallsgrößen annehmen können, integriert:
Z
P(Xi ≤ ti ) = f (x1 , . . . , xn ) dx1 . . . dxn
Ri−1 ×(−∞,ti ]×Rn−i
Z Z
= f (x1 , . . . , xn ) dx1 . . . dxi−1 dxi+1 . . . dxn dxi .
(−∞,ti ] Rn−1

Der Ausdruck in den Klammern als Funktion von xi nennt man die i-te Randdichte von f ;
diese Funktion ist eine (eindimensionale) Dichte von Xi . In analoger Weise kann man für
jeden Teilvektor von X = (X1 , . . . , Xn ) eine Dichte erhalten, indem man über alle Indices,
die nicht in dem Vektor verwendet werden, ausintegriert.
3

Unabhängigkeit

Für die Definition der Unabhängigkeit von Zufallsgrößen adaptieren wir die Aussage von Lem-
ma 3.2.2:

Definition 4.2.3 (Unabhängigkeit von Zufallsgrößen). Es seien X1 , . . . , Xn beliebige Zufalls-

größen. Wir nennen X1 , . . . , Xn unabhängig, falls für alle t1 , . . . , tn ∈ R gilt:
n
Y
P(X1 ≤ t1 , . . . , Xn ≤ tn ) = P(Xi ≤ ti ).
i=1

Wie in Lemma 3.2.9 sind die Zufallsgrößen X1 , . . . , Xn mit Dichten genau dann unabhängig,
wenn die Verteilung des Vektors X = (X1 , . . . , Xn ) gleich dem Produkt der Verteilungen der
X1 , . . . , Xn ist. Unabhängigkeit schlägt sich auch in der Produktstruktur der Dichten nieder:

Lemma 4.2.4. Es seien Zufallsgrößen X1 , . . . , Xn mit Dichten f1 , . . . , fn : R → [0, ∞) gegeben

(wir setzen nicht voraus, dass eine gemeinsame Dichte existiert). Dann sind X1 , . . . , Xn genau
dann unabhängig, wenn eine gemeinsame Dichte gegeben ist durch die Abbildung
n
Y
(x1 , . . . , xn ) 7→ fi (xi ), x1 , . . . , xn ∈ R.
i=1

Beweis. Übungsaufgabe.

Erwartungswerte, Varianzen und Kovarianzen

Erwartungswerte, Varianzen und Kovarianzen von Zufallsgrößen mit Dichten werden analog zu
den jeweils entsprechenden Begriffen für diskrete Zufallsgrößen definiert:
4.2. ÜBERTRAGUNG DER BISHERIGEN ERGEBNISSE 45

Definition 4.2.5 (Erwartungswert,Varianz). Es sei X eine Zufallsgröße mit Dichte f .

(a) Der Erwartungswert
R von X existiert genau dann (und wir schreiben dann X ∈ L1 ), wenn
das Integral R |x|f (x) dx konvergiert, und der Erwartungswert ist dann gegeben als
Z
E(X) = xf (x) dx.
R

(b) Wenn X ∈ L1 , so heißt

Z
(x − E(X))2 f (x) dx = E (X − E(X))2

V(X) =
R
p
die Varianz von X und S(X) = V(X) die Standardabweichung von X.

Die Eigenschaften des Erwartungswertes in Lemma 3.3.2 und die Formel für Erwartungs-
werte von zusammengesetzen Zufallsgrößen in Lemma 3.3.3 gelten wörtlich bzw. analog; in
Lemma 3.3.2(a) und Lemma 3.3.3 müssen die Summen durch Integrale ersetzt werden. Die
Eigenschaften von Varianzen und Kovarianzen in Lemmas 3.4.4 und 3.5.2 sowie die Cauchy-
Schwarz-Ungleichung in Satz 3.5.6 gelten wörtlich auch für Zufallsvariable mit Dichten.

Faltung

Den Begriff der Faltung in Definition 3.6.1 überträgt man wie folgt auf Integrale: Die Faltung
zweier integrierbarer Funktionen f, g : R → R ist definiert als die Funktion f ?g : R → R, gegeben
durch Z
f ? g(y) = f (x)g(y − x) dx, y ∈ R.
R
Man kann leicht zeigen, dass f ? g = g ? f , und dass f ? g absolut integrierbar ist, falls f und g
es sind. Es gilt das Analogon zum Faltungssatz 3.6.2:

Satz 4.2.6 (Faltungssatz). Für je zwei unabhängige Zufallsgrößen X und Y mit Dichten f
bzw. g hat die Zufallsgröße X + Y die Dichte f ? g.

Beweis. Nach Lemma 4.2.4 hat (X, Y ) die Dichte (x, y) 7→ f (x)g(y). Es sei z ∈ R und Az =
{(x, y) ∈ R2 : x + y ≤ z}. Dann ist

Z Z ∞ Z z−x
P(X + Y ≤ z) = P (X, Y ) ∈ Az = f (x)g(y) dxdy = dx f (x) dy g(y)
Az −∞ −∞
Z ∞ Z z Z z Z
= dx f (x) dy g(y − x) = dy dx g(y − x)f (x)
Z−∞
z
−∞ −∞ R

= dy f ? g(y).
−∞

Also ist f ? g eine Dichte von X + Y .

46 KAPITEL 4. WAHRSCHEINLICHKEIT MIT DICHTEN

4.3 Beispiele
Beispiel 4.3.1 (Gleichförmige Verteilung). Seien a, b ∈ R mit a < b, dann ist durch
1
f (t) = 1l (t), für t ∈ R,
b − a [a,b]
eine Dichte auf R gegeben, die Dichte der gleichförmigen Verteilung auf [a, b]. Die zugehörige
Verteilungsfunktion F hat ein lineares Stück vom Wert Null bei a zum Wert Eins bei b. Eine
Zufallsgröße X mit Dichte f besitzt den Erwartungswert E(X) = a+b 2 und die Varianz V(X) =
1 2
12 (b − a) , wie man leicht ausrechnet. Analog werden gleichförmige Verteilungen auf beliebigen
Teilmengen des Rd definiert, deren Indikatorfunktion Riemann-integrierbar ist. 3
Beispiel 4.3.2 (Exponentialverteilung). Wir definieren mit einem Parameter α ∈ (0, ∞) die
Dichte
f (t) = αe−αt 1l[0,∞) (t), für t ∈ R,
die die Dichte der Exponentialverteilung zum Parameter α genannt wird. Die zugehörige Vertei-
lungsfunktion ist gegeben durch F (t) = (1 − e−αt )1l[0,∞) (t), und den Erwartungswert errechnet
man mit Hilfe einer partiellen Integration als
Z ∞ Z ∞
∞
Z
−αt −αt 1
E(X) = tf (t) dt = tαe dt = −te + e−αt dt = .
R 0 0 0 α
Mit einer weiteren partiellen Integration errechnet man leicht, dass die Varianz gegeben ist als
V(X) = 1/α2 (Übungsaufgabe).
Die Exponentialverteilung ist das kontinuierliche Gegenstück zur geometrischen Verteilung.
Insbesondere besitzt sie ebenfalls die Eigenschaft der Gedächtnislosigkeit (siehe Lemma 3.1.6):

Lemma 4.3.3 (Gedächtnislosigkeit der Exponentialverteilung). Sei X eine exponentiell ver-

teilte Zufallsvariable. Dann gilt für jede s, t > 0

P(X > s + t | X > s) = P(X > t).

Beweis. Übungsaufgabe.
Die Interpretation ist analog zu der von Lemma 3.1.6: Wenn man auf das Eintreten einer
exponentiell verteilten Zufallszeit wartet und sie bis zum Zeitpunkt s noch nicht eingetreten ist,
so ist die Wahrscheinlichkeit, dass sie nach weiteren t Zeiteinheiten eintritt, die gleiche, als wenn
man das Nichteintreten in den letzten s Zeiteinheiten nicht kennen würde. Weitere interessante
Eigenschaften dieser Wartezeitverteilung treten bei der Behandlung des Poisson-Prozesses in
Abschnitt 4.4 auf.
Das Maximum unabhängiger gleichförmig verteiler Zufallsgrößen steht in einer interessanten
Beziehung zur Exponentialverteilung (Beweis als Übungsaufgabe):
Lemma 4.3.4. Es seien X1 , . . . , Xn unabhängige, auf dem Intervall [0, α] gleichförmig verteilte
Zufallsgrößen. Dann ist eine Dichte der Zufallsgröße Mn = max{X1 , . . . , Xn } gegeben durch
x 7→ 1l[0,α] (x)nα−n xn−1 , und ihr Erwartungswert ist E(Mn ) = n+1
n
α. Für n → ∞ konvergiert
die Verteilungsfunktion der Zufallsgröße Yn = n(α − Mn ) gegen die Verteilungsfunktion der
Exponentialverteilung mit Parameter α1 .
4.3. BEISPIELE 47

Beispiel 4.3.5 (Gamma-Verteilung). Mit zwei Parametern α > 0 und r > 0 definieren wir die
Dichte γα,r : (0, ∞) → [0, ∞) durch

αr r−1 −αt
γα,r (t) = t e 1l[0,∞) (t),
Γ(r)

wobei Γ : (0, ∞) → (0, ∞) die bekannte Gamma-Funktion2 ist:

Z ∞
Γ(r) = y r−1 e−y dy, r > 0.
0

Mit Hilfe der Substitution αt = y sieht man leicht, dass γα,r eine Dichte ist, die Dichte der
Gamma-Verteilung mit Parametern α und r. Der Spezialfall r = 1 ist die Dichte der Exponen-
tialverteilung, siehe Beispiel 4.3.2. Die Gamma-Verteilung ist das kontinuierliche Analogon zur
negativen Binomial-Verteilung (siehe Beispiel 3.6.4). Sie besitzt ein paar bemerkenswerte Bezie-
hungen zur Exponential- und zur Poisson-Verteilung. Insbesondere stellt sich heraus, dass die
Faltungsgleichung γα,r1 ? γα,r2 = γα,r1 +r2 gilt, d. h., dass die Familie der Gamma-Verteilungen
eine Faltungshalbgruppe bildet (siehe auch Abschnitt 3.6):

Lemma 4.3.6 (Gamma-, Exponential- und Poisson-Verteilung). Es sei α > 0.

(i) Die Summe zweier unabhängiger Gamma-verteilter Zufallsgrößen mit Parametern α und
r1 bzw. α und r2 ist Gamma-verteilt mit Parametern α und r1 + r2 . Insbesondere ist für
k ∈ N die Gamma-Verteilung mit Parameter α und k identisch mit der Verteilung der
Summe von k unabhängigen, zum Parameter α exponentiell verteilten Zufallsgrößen.

(ii) Für ein t > 0 sei Nαt eine zum Parameter αt Poisson-verteilte Zufallsgröße und Xα,k
eine zum Parameter α und k ∈ N Gamma-verteilte Zufallsgröße. Dann gilt P(Nαt ≥ k) =
P(Xα,k ≤ t).

Beweis. (i) Es genügt, die Gleichung γα,r1 ? γα,r2 = γα,r1 +r2 zu beweisen: Für s > 0 gilt
Z s
γα,r1 ? γα,r2 (s) = γα,r1 (t)γα,r2 (s − t) dt
0
αr1 αr2 −αs s r1 −1
Z
= e t (s − t)r2 −1 dt
Γ(r1 ) Γ(r2 ) 0
Γ(r1 + r2 ) 1 r1 −1
Z
= γα,r1 +r2 (s) u (1 − u)r2 −1 du,
Γ(r1 )Γ(r2 ) 0

wobei wir die Substitution t/s = u benutzten. Das Integral auf der rechten Seite ist bekannt
als das Euler’sche Beta-Integral mit Parametern r1 und r2 , und es ist bekannt, dass sein Wert
gleich dem Kehrwert des Bruches davor ist. Also ist die gesamte rechte Seite gleich γα,r1 +r2 (s),
und die Aussage ist bewiesen.
2
Die Gamma-Funktion Γ ist die einzige logarithmisch konvexe Funktion Γ : (0, ∞) → (0, ∞) mit Γ(1) = 1, die
die Funktionalgleichung Γ(r + 1) = rΓ(r) für jedes r > 0 erfüllt. Sie interpoliert also auf N die Fakultät, d. h.
Γ(k) = (k − 1)! für k ∈ N.
48 KAPITEL 4. WAHRSCHEINLICHKEIT MIT DICHTEN

(ii)
k−1
−αt
X (αt)n
P(Nαt ≥ k) = 1 − P(Nαt ≤ k − 1) = 1 − e
n!
n=0
t t
αk
Z Z
= xk−1 e−αx dx = γα,k (x) dx = P(Xα,k ≤ t),
0 (k − 1)! 0
wobei der dritte Schritt mit Hilfe einer Differenziation nach t eingesehen wird. 3

Beispiel 4.3.7 (Normal- oder Gaußverteilung). Mit zwei Parametern µ ∈ R und σ ∈ (0, ∞)
definieren wir ϕµ,σ : R → (0, ∞) durch

1 (t − µ)2
ϕµ,σ (t) = √ exp − , für t ∈ R.
2πσ 2 2σ 2

Wir benutzen nun einen kleinen

R Trick, um zu zeigen, dass ϕµ,σ tatsächlich eine Wahrscheinlich-
keitsdichte ist, d. h. dass R ϕµ,σ (t) dt = 1. Zunächst bemerken wir, dass es genügt, dies nur für
µ = 0 und σ = 1 zu tun, denn das Integral erstreckt sich über die gesamte reelle Achse und
kann um µ verschoben werden, und eine Substitution t = t̃σ führt die Frage auf den Fall σ = 1
zurück. Wir werden zeigen, dass
Z 2
2
e−t /2 dt = 2π,
R
woraus die Behauptung folgt. Wir schreiben das Quadrat der Integrale als ein zweidimensionales
Integral über x = (x1 , x2 ) ∈ R2 (man beachte, dass x21 + x22 = kxk22 ) und gehen über zu
Polarkoordinaten:
Z 2 Z Z Z Z 2π Z ∞
−t2 /2 −x21 /2 −x22 /2 −kxk22 /2 2
e dt = e dx1 e dx2 = e dx = re−r /2 drdt.
R R R R2 0 0

Der Lohn dieses Ansatzes ist, dass wir eine explizite Stammfunktion für den Integranden r 7→
2 2
re−r /2 haben, und zwar r 7→ −e−r /2 . Daher ist das innere Integral offensichtlich gleich Eins,
und der gesamte Ausdruck gleich 2π, wie behauptet. Die Funktion ϕµ,σ ist also tatsächlich eine
Wahrscheinlichkeitsdichte, und zwar die Dichte der Normal- oder Gaußverteilung. Auf den 10-
DM-Scheinen, die bis Ende 2001 im Umlauf waren, war der Graph von ϕµ,σ abgebildet, man
nennt ihn die Gauß’sche Glockenkurve.
Für die zugehörige Verteilungsfunktion
Z x (t − µ)2
1
Φµ,σ (x) = √ exp − dt
2πσ 2 −∞ 2σ 2

gibt es keinen geschlossenen Ausdruck, aber Tabellen für viele ihrer Werte. Die Rolle der Para-
meter µ und σ wird klar, wenn man den Erwartungswert und die Varianz ausrechnet. Es sei X
eine Zufallsgröße mit Dichte ϕµ,σ , dann gilt:
Z
1
Z t2
E(X) = tϕµ,σ (t) dt = √ (t + µ) exp − 2 dt
R 2πσ 2 R 2σ
1
Z t 2
=µ+ √ t exp − 2 dt
2πσ R 2 2σ
= µ,
4.3. BEISPIELE 49

2 2
denn die Funktion t 7→ te−t /(2σ ) ist antisymmetrisch auf R, und da das Integral existiert (wie
man leicht etwa mit Vergleichskriterien sieht), ist sein Wert gleich Null.
Außerdem errechnet man die Varianz mit Hilfe einer Substitution und einer partiellen Inte-
gration zu
Z
1
Z (t − µ)2
2 2
V(X) = (t − E(X)) ϕµ,σ (t) dt = √ (t − µ) exp − dt
R 2πσ 2 R 2σ 2
σ2 σ2 h ∞
Z Z i
2 2 2
=√ s2 e−s /2 ds = √ −se−s /2 + e−s /2 ds
2π R 2π −∞ R
2
=σ .

Also ist µ der Erwartungswert und σ 2 die Varianz der Normalverteilung mit Parametern µ und
σ. Man bezeichnet diese Verteilung auch oft mit N (µ, σ 2 ). Im Fall µ = 0 und σ 2 = 1 sprechen
wir von der Standardnormalverteilung N (0, 1).
Die Normalverteilung besitzt mehrere spezielle Eigenschaften und tritt in universeller Weise
auf als Grenzverteilung im sehr wichtigen Zentralen Grenzwertsatz, siehe Satz 5.2.2. Wir wollen
ihre Faltungseigenschaft beweisen: Die Summe zweier unabhängiger normalverteilter Zufalls-
größen ist wiederum normalverteilt, und ihre ersten Parameter addieren sich und die Quadrate
der zweiten ebenfalls:

Lemma 4.3.8 (Faltungseigenschaft der Normalverteilung). Für alle µ1 , µ2 ∈ R und alle

σ1 , σ2 ∈ (0, ∞) gilt

ϕµ1 ,σ1 ? ϕµ2 ,σ2 = ϕµ1 +µ2 ,σ , wobei σ 2 = σ12 + σ22 .

Beweis. Wir dürfen µ1 = µ2 = 0 annehmen. Sei t ∈ R. Offensichtlich gilt

ϕ0,σ1 ? ϕ0,σ2 (t) σ 1

Z n t2 s2 (t − s)2 o
= √ exp − − ds. (4.3.1)
ϕ0,σ (t) σ1 σ2 2π R 2σ 2 2σ12 2σ22

Eine langweilige, aber unkomplizierte Rechnung identifiziert den Term im Exponenten:

t2 s2 (t − s)2 1 σ t σ1 2
− − = − s − .
2σ 2 2σ12 2σ22 2 σ1 σ2 σ σ2

Nun benutzt man dies im Integral in (4.3.1) und substituiert den Term zwischen den Klammern
im Integral. Also sieht man, dass die rechte Seite gleich Eins ist. 3

Beispiel 4.3.9 (Mehrdimensionale Normalverteilung). Es seien X1 , . . . , Xn unabhängige, stan-

dardnormalverteilte Zufallsgrößen. Dann hat der Vektor X = (X1 , . . . , Xn )T die Dichte
n
1 n 1X o
f (x) = f (x1 , . . . , xn ) = exp − x2i , x = (x1 , . . . , xn ) ∈ Rn .
(2π)n/2 2
i=1

Wir nennen den Vektor X n-dimensional standardnormalverteilt. Wir gehen im Folgenden davon
aus, dass X ein Spaltenvektor ist; mit X T bezeichnen wir den Zeilenvektor (X1 , . . . , Xn ).
50 KAPITEL 4. WAHRSCHEINLICHKEIT MIT DICHTEN

Sei nun A eine reguläre n×n-Matrix und µ ∈ Rn ein Vektor, sowie θ(x) = Ax+µ für x ∈ Rn .
Wir sagen, dass der Vektor Y = θ(X) = (Y1 , . . . , Yn )T eine (allgemeine) Normalverteilung
besitzt. Dann besitzt Y die Dichte
1 n 1
T −1
o
g(y) = g(y1 , . . . , yn ) = exp − (y − µ) C (y − µ) , y ∈ Rn ,
| det(C)|1/2 (2π)n/2 2

wobei C = AAT , und AT ist die Transponierte der Matrix A. Dass die Dichte von Y = AX + µ
diese Form haben muss, sieht man ein, indem man die lineare Substitution y = Ax + µ, also
x = A−1 (y − µ), durchführt und beachtet, dass gilt:
n
X
(y − µ)T C −1 (y − µ) = (y − µ)T (AT )−1 A−1 (y − µ) = xT x = x2i .
i=1

Aus der Theorie der mehrdimensionalen

p Integration ist bekannt, dass die Integrationsvariablen
der Regel dy = | det A| dx = | det C| dx gehorchen.
Wir definieren Erwartungswerte von Zufallsvektoren komponentenweise, also ist E(Y ) =
(E(Y1 ), . . . , E(Yn ))T , und es ergibt sich, dass E(Y ) = AE(X) + µ = µ ist. Ferner ist die Kovari-
anzmatrix cov(Y, Y ) = (cov(Yi , Yj ))i,j=1,...,n gegeben durch

cov(Yi , Yj ) = E (Yi − E(Yi ))(Yj − E(Yj )) , i, j = 1, . . . , n.

Sie erfüllt
cov(Y, Y ) = E (Y − E(Y ))(Y − E(Y ))T = E (AX)(AX)T

= E(AXX T AT ) = AE(XX T )AT = AAT

= C.
Also ist (wie im eindimensionalen Fall) die Verteilung des normalverteilten Vektors Y festge-
legt durch den Erwartungswert und die Kovarianzmatrix. Man nennt Y die (n-dimensionale)
Normalverteilung mit Kovarianzmatrix C und Erwartungswertvektor µ und schreibt auch oft
Y ∼ N (µ, C). 3
Beispiel 4.3.10 (Cauchy-Verteilung). Die Dichte der Cauchy-Verteilung mit Parameter c ∈
(0, ∞) ist gegeben durch
c 1
f (t) = , für t ∈ R.
π t2 + c2
Die Verteilungsfunktion ist gegeben durch F (t) = 21 + π1 arctan( ct ). Der Erwartungswert der
Cauchy-Verteilung existiert nicht, da die Funktion t 7→ t2|t|
+1
nicht über R integrierbar ist. 3

4.4 Der Poisson-Prozess

In diesem Abschnitt diskutieren wir ein wichtiges mathematisches Modell für das Eintreten ei-
ner Folge von zufälligen Zeitpunkten. Dieses Modell wurde schon in Beispiel 1.3.6 angedeutet,
doch für eine befriedigende Behandlung ist eine Kenntnis der Exponential- und der Gamma-
Verteilungen notwendig (siehe Beispiele 4.3.2 und 4.3.5). Wir werden zunächst den Poisson-
Prozess axiomatisch einführen und den Zusammenhang mit Poisson-verteilten Zufallsvariablen
diskutieren. Danach geben wir eine Charakterisierung in Termen von exponentiellen Zufallsva-
riablen. Die Existenz des Poisson-Prozesses können wir hier noch nicht beweisen, und wir werden
auch nicht alle Beweise ausformulieren.
4.4. DER POISSON-PROZESS 51

Gegeben seien zufällige Zeitpunkte auf der positiven Zeitachse (0, ∞). Dies können Zeitpunk-
te von Abfahrten von Bussen von einer Haltestelle sein oder von eingehenden Telefonanrufen
oder vieles Andere mehr. Für jedes endliche halboffene Zeitintervall I = (a, b] mit 0 ≤ a < b < ∞
(für ein solches Intervall werden wir im Folgenden nur kurz ‘Intervall’ sagen) sei NI die Anzahl
derjenigen zufälligen Zeitpunkte, die in das Intervall I fallen. Für die Kollektion der N0 -wertigen
Zufallsgrößen NI machen wir folgende Annahmen:

(P1) Die Verteilung von NI hängt nur von der Länge des Intervalls I ab.
(P2) Wenn I1 , . . . , Ik paarweise disjunkte Intervalle sind, dann sind NI1 , . . . , NIk unabhängig.
(P3) Für jedes Intervall I existiert E(NI ).
(P4) Es gibt ein Intervall I mit P(NI > 0) > 0.
(P5) Es gilt limε↓0 ε−1 P(N(0,ε] ≥ 2) = 0.

Eine Kollektion von Zufallsgrößen NI , die die Eigenschaften (P1)-(P5) erfüllen, nennen wir
einen Poisson’schen Punktprozess oder kurz einen Poisson-Prozess. Oft nennt man auch den
Prozess (N(0,t] )t∈[0,∞) einen Poisson-Prozess. (P1) und (P2) sind starke Strukturannahmen, die
die mathematische Behandlung vereinfachen bzw. ermöglichen sollen. (P3) und (P4) schließen
unerwünschte pathologische Fälle aus, und (P5) verhindert, dass sich die Zeitpunkte zu stark
häufen können. Wir werden nicht beweisen, dass ein Poisson-Prozess existiert, sondern wir wer-
den dies annehmen und diesen Prozess genauer untersuchen. Es stellt sich heraus, dass alle
Zählvariablen NI Poisson-verteilt sind, eine Tatsache, die den Namen erklärt:

Lemma 4.4.1. Wenn (P1)-(P5) erfüllt sind, so existiert ein α > 0, sodass für alle t, s > 0 die
Zufallsvariable N(t,t+s] Poisson-verteilt ist mit Parameter αs. Insbesondere ist E(NI ) = α|I|
für jedes Intervall I.

Beweis. Zunächst identifizieren wir den Erwartungswert jedes NI , der ja nach (P3) endlich ist.
Die Funktion α(t) = E(N(0,t] ) erfüllt α(0) = 0 sowie

α(t + s) = E(N(0,t] + N(t,t+s] ) = E(N(0,t] ) + E(N(0,s] ) = α(t) + α(s),

wobei wir im zweiten Schritt (P1) benutzten. Mit Hilfe von ein wenig Maßtheorie sieht man,
dass limt↓0 α(t) = 0, d. h. α(·) ist stetig in 0. Eine beliebte Übungsaufgabe aus der Analysis
zeigt, dass es ein α ≥ 0 gibt mit α(t) = αt für jedes t ≥ 0. Wegen (P4) muss α > 0 sein.
Nun beweisen wir die erste Aussage des Lemmas. Wegen (P1) reicht es, N(0,s] zu betrachten.
Wir zerlegen (0, s] in die Intervalle Ij(k) = ( ks (j − 1), ks j] mit j ∈ {1, . . . , k} und betrachten die
Zufallsvariable Xj(k) = NI (k) . Dann gilt offensichtlich N(0,s] = kj=1 Xj(k) . Ferner approximieren
P
j
(k)
wir Xj(k) mit der Indikatorvariable X j = 1l{Xj(k) > 0}, die registriert, ob das j-te Intervall
Ij(k) mindestens einen der zufälligen Punkte erhält oder nicht. Wegen (P2) in Kombination mit
(k) (k)
Korollar 3.2.12 sind die Variablen X 1 , . . . , X k unabhängig, und wegen (P1) sind sie identisch
verteilt. Mit anderen Worten, sie sind Bernoulli-Variable mit Parameter pk = P(N(0,s/k] > 0).
(k) (k) (k)
Nun definieren wir N (0,s] = kj=1 X j , dann ist N (0,s] eine binomialverteilte Zufallsvariable
P
(k)
mit Parametern k und pk . Es gilt offensichtlich N (0,s] ≤ N(0,s] .
52 KAPITEL 4. WAHRSCHEINLICHKEIT MIT DICHTEN

(k)
Wir benutzen nun (P5), um zu zeigen, dass für große k die Variablen N (0,s] und N(0,s] sehr
nahe bei einander liegen, d. h. dass gilt:
(k)
lim P(N (0,s] = m) = P(N(0,s] = m), m ∈ N0 . (4.4.1)
k→∞

Dies sieht man ein, indem man abschätzt:

k
X
(k) (k)
P(N (0,s] 6= N(0,s] ) = P(N (0,s] < N(0,s] ) ≤ P(Xj(k) ≥ 2) = kP(N(0,s/k] ≥ 2),
j=1

(k)
und dies konvergiert gegen Null für k → ∞ wegen (P5). Da |P(N (0,s] = m) − P(N(0,s] = m)| ≤
(k)
2P(N (0,s] 6= N(0,s] ), folgt (4.4.1).
Mit Hilfe von (4.4.1) zeigt man nun, dass limk→∞ kpk = αs ist: Wir haben
∞
X ∞
X
(k) (k)
lim kpk = lim E(N (0,s] ) = lim P(N (0,s] ≥ l) = P(N(0,s] ≥ l) = E(N(0,s] ) = αs,
k→∞ k→∞ k→∞
l=1 l=1

wobei wir im zweiten und im vorletzten Schritt Lemma 3.3.8 benutzten und im dritten eine allge-
(k)
meine Tatsache über Reihen (wie im Beweis von (4.4.1) zeigt man nämlich, dass limk→∞ P(N (0,s] ≥
l) = P(N(0,s] ≥ l) für jedes l ∈ N0 gilt). Also kann man den Poisson’schen Grenzwertsatz
(Satz 1.3.7) anwenden und erhält
(k)
lim P(N (0,s] = m) = lim Bik,pk (m) = Poαs (m), m ∈ N0 .
k→∞ k→∞
(k)
D. h., die Zufallsvariable N (0,s] ist asymptotisch Poisson-verteilt mit Parameter αs. Da diese
Grenzverteilung mit der Verteilung von N(0,s] übereinstimmt, ist der Beweis beendet.

Wir nähern uns nun einem anderen Zugang zum Poisson-Prozess. Ausgangspunkt der Über-
legung ist folgende Kombination der beiden Beobachtungen von Lemma 4.3.6: Die Wahrschein-
lichkeit, dass im Intervall (0, t] mindestens k Punkte liegen (dies ist gleich P(N(0,t] ≥ k), und
N(0,t] ist nach Lemma 4.4.1 Poisson-verteilt mit Parameter αt), ist für jedes k ∈ N0 gegeben
durch P( ki=1 τi ≤ t), wobei τ1 , τ2 , . . . eine Folge unabhängiger, zum Parameter α exponentiell
P

verteilten Zufallsgrößen ist (denn ki=1 τi ist Gamma-verteilt mit Parametern α und k). Dies
P
legt den Schluss nahe, dass die Zufallszeiten τi eine Interpretation als die Wartezeiten zwischen
dem Eintreffen des (i − 1)-ten und i-ten zufälligen Zeitpunktes zulassen, und genau das ist der
Fall:

Satz 4.4.2. Es sei (τi )i∈N eine Folge

P unabhängiger, zum Parameter α exponentiell verteilter
Zufallsgrößen. Wir definieren Tk = ki=1 τi für k ∈ N. Für jedes endliche halboffene Intervall
I definieren wir NI = |{k ∈ N : Tk ∈ I}| als die Zahl der Tk , die in I fallen. Dann erfüllt die
Kollektion der Zufallsgrößen NI die Bedingungen (P1)-(P5).

Beweisskizze. Wir werden nicht die volle Aussage beweisen; der vollständige Beweis des Satzes
ist komplizierter, aber analog. Wir zeigen nur die Aussage: Für jedes 0 < s < t sind N(0,s] und
N(s,t] unabhängige, zu den Parametern αs bzw. α(t − s) Poisson-verteilte Zufallsgrößen, d. h.

sk (t − s)l
P(N(0,s] = k, N(s,t] = l) = Poαs (k)Poα(t−s) (l) = e−αt αk+l , k, l ∈ N0 . (4.4.2)
k! l!
4.4. DER POISSON-PROZESS 53

Zunächst sieht man, dass {N(0,s] = k, N(s,t] = l} = {Tk ≤ s < Tk+1 , Tk+l ≤ t < Tk+l+1 }.
Das betrachtete Ereignis lässt sich also mit Hilfe der τi ausdrücken als das Ereignis, dass der
Zufallsvektor (τ1 , . . . , τk+l+1 ) in der Menge

A = x ∈ [0, ∞)k+l+1 : Sk (x) ≤ s < Sk+1 (x), Sk+l (x) ≤ t < Sk+l+1 (x)

liegt (wobei wir Sn (x) = x1 + · · · + xn setzten):

{N(0,s] = k, N(s,t] = l} = (τ1 , . . . , τk+l+1 ) ∈ A .

Nach Lemma 4.2.4 ist eine Dichte des Zufallsvektors (τ1 , . . . , τk+l+1 ) gegeben durch

x = (x1 , . . . , xk+l+1 ) 7→ 1l[0,∞)k+l+1 (x)αk+l+1 e−αSk+l+1 (x) .

Wir zeigen nun die Gleichung (4.4.2) für l ≥ 1 (der Fall l = 0 ist analog). Es gilt
Z
dx αk+l+1 e−αSk+l+1 (x)

P(N(0,s] = k, N(s,t] = l) = P (τ1 , . . . , τk+l+1 ) ∈ A =
A
Z ∞ Z ∞
=α k+l
··· dx1 . . . dxk+l+1 αe−αSk+l+1 (x)
0 0
× 1l{Sk (x) ≤ s < Sk+1 (x), Sk+l (x) ≤ t < Sk+l+1 (x)}.

Wir integrieren nun schrittweise von innen nach außen. Zuerst halten wir x1 , . . . , xk+l fest und
substituieren z = Sk+l+1 (x):
Z ∞ Z ∞
−αSk+l+1 (x)
dxk+l+1 αe 1l{t < Sk+l+1 (x)} = dz αe−αz = e−αt .
0 t

Nun halten wir x1 , . . . , xk fest und substituieren y1 = Sk+1 (x) − s, y2 = xk+2 , . . . , yl = xk+l :
Z ∞ Z ∞
··· dxk+1 . . . dxk+l 1l{s < Sk+1 (x), Sk+l (x) ≤ t}
0 0
Z ∞ Z ∞
(t − s)l
= ··· dy1 . . . dyl 1l{y1 + · · · + yl ≤ t − s} = ,
0 0 l!
wobei wir eine Induktion über l benutzten. Die restlichen k Integrale behandeln wir genauso
und erhalten Z ∞ Z ∞
sk
··· dx1 . . . dxk 1l{Sk (x) ≤ s} = .
0 0 k!
Wenn man dies alles zusammensetzt, ergibt sich die Behauptung.
Die Konstruktion des Poisson-Prozesses, die durch Satz 4.4.2 gegeben wird, hängt für uns
in der Luft, da wir noch nicht unendlich viele unabhängige Zufallsgrößen mathematisch korrekt
konstruieren können. Aber wir haben den Poisson-Prozess sehr befriedigend charakterisiert:
Wir können ihn uns vorstellen als der Prozess von Zeitpunkten, zwischen denen unabhängige
exponentielle Wartezeiten mit Parameter α vergehen. Mehr noch, die folgenden drei Charakte-
risierungen sind zueinander äquivalent:

1. Die N0 -wertigen Zufallsgrößen NI erfüllen (P1)–(P5).

2. Die Zeitdifferenzen τi zwischen dem (i − 1)-ten und i-ten der zufälligen Zeitpunkte sind
unabhängige, zu einem gemeinsamen Parameter α exponentiell verteilte Zufallsgrößen.
54 KAPITEL 4. WAHRSCHEINLICHKEIT MIT DICHTEN

3. Mit einem geeigneten Parameter α ist für jedes Intervall I die Zufallsgröße NI zum Para-
meter α|I| Poisson-verteilt, und bei paarweiser Disjunktheit der Intervalle I1 , . . . , Ik sind
NI1 , . . . , NIk unabhängig.

Die Äquivalenz dieser drei Aussagen zu beweisen, ist eine (anspruchsvolle) Übungsaufgabe, wobei
wesentliche Teile in Lemma 4.4.1 und Satz 4.4.2 enthalten sind. Im Folgenden werden wir die
Äquivalenz benutzen.
Zum Schluss betrachten wir noch ein kleines Kuriosum, das Wartezeitparadox. Wenn man
einen Poisson-Prozess als Modell für Zeitpunkte, an denen Busse von einer Haltestelle abfahren,
verwendet, stellt man sich vielleicht folgende Frage: Wenn ich zum (festen) Zeitpunkt t > 0
an der Haltestelle ankomme und nicht weiß, wann der letzte Bus abgefahren ist, was ist die
Verteilung der Wartezeit auf den nächsten Bus? Ist die erwartete Wartezeit vielleicht kürzer
als 1/α? Und wie steht es um die Zeit, die seit der Abfahrt des letzten Busses bis jetzt (also
den Zeitpunkt t) vergangen ist? Hat die Summe dieser zwei Zeiten den Erwartungswert 1/α?
Die Antwort ist ein wenig überraschend und folgt im nächsten Lemma. Wir nehmen an, dass
Nt = N(0,t] , wobei (NI )I ein wie im Satz 4.4.2 konstruierter Poisson-Prozess ist. Ferner definieren
wir für t > 0

Wt = −t + min{Tk : k ∈ N, Tk > t} Vt = t − max{Tk : k ∈ N, Tk ≤ t},

wobei wir max ∅ = 0 setzen. In Worten: Wt ist die Wartezeit ab t bis zur Abfahrt des nächsten
Busses, und Vt ist die Zeitdifferenz zwischen der letzten Abfahrt vor dem Zeitpunkt t und t.

Lemma 4.4.3 (Wartezeitparadox). Für jedes t > 0 ist Wt zum Parameter α exponential-
verteilt, und Vt hat die Verteilung von min{Wt , t}. Insbesondere gelten E(Wt ) = 1/α und
E(Vt ) = α1 (1 − e−αt ). Die Zufallszeiten Wt und Vt sind unabhängig.

Beweis. Das Ereignis {Wt > s} ist identisch mit dem Ereignis, dass zwischen den Zeitpunkten
t und t + s keines der Tk eintrifft. Also gilt P(Wt > s) = P(N(t,t+s] = 0) = Poαs (0) = e−αs . Dies
zeigt die erste Aussage.
Das Ereignis {Vt > s} ist für s < t identisch mit dem Ereignis, dass zwischen den Zeitpunkten
t−s und t keines der Tk eintrifft. Analog zu dem Obigen erhält man, dass P(Vt > s) = P(N(t−s,t] =
0) = e−αs für s < t. Für s ≥ t ist {Vt > s} = ∅, also P(Vt > s) = 0. Setzt man diese zwei
Teilaussagen zusammen, erhält man die zweite Aussage des Lemmas.
Die Berechnung des Erwartungswertes von min{Wt , t} ist eine Übungsaufgabe. Die Un-
abhängigkeit der Zufallszeiten Wt und Vt ist eine einfache Konsequenz von Satz 4.4.2, denn Wt
und Vt hängen nur von der Zahl der Tk in (t, ∞) bzw. in (0, t] ab, und diese Anzahlen sind nach
(P2) unabhängig (siehe Korollar 3.2.12).
Die Wartezeit zwischen der Abfahrt des letzten Busses vor dem Zeitpunkt t und des nächsten
nach t hat also nicht die Verteilung irgendeiner der Wartezeiten τi . Tatsächlich ist ihr Erwar-
tungswert größer und tendiert für große t gegen das Zweifache des Erwartungswertes von τi .
Das Phänomen, dass dieses beobachtete der zufälligen Zeitintervalle größer ist als jedes der an-
deren, liegt nicht an der exponentiellen Verteilung, sondern an der einfachen Überlegung, dass
größere solche Intervalle natürlich auch mit einer höheren Wahrscheinlichkeit ‘erwischt’ werden
als kleinere.
Kapitel 5

Grenzwertsätze

In diesem Kapitel behandeln wir die zwei wichtigsten Grenzwertsätze für Wahrscheinlichkeits-
verteilungen: das Gesetz der Großen Zahlen und den Zentralen Grenzwertsatz, zumindest für
wichtige Spezialfälle. Beide Sätze machen asymptotische Aussagen über sehr oft wiederholte
unabhängige identisch verteilte Zufallsexperimente: Das Gesetz der Großen Zahlen formuliert,
dass der Durchschnitt der dabei auftretenden Ergebnisse sich in gewissem Sinne dem erwarteten
Wert eines dieser Experimente annähert, und der Zentrale Grenzwertsatz macht eine feinere
Aussage über die Fluktuationen um diesen asymptotischen Wert.
Unter einer Zufallsgröße verstehen wir in diesem Kapitel eine diskrete im Sinne der Defini-
tion 3.1.1 oder eine stetige im Sinne von Abschnitt 4.1.

5.1 Das Gesetz der Großen Zahlen

Wir beginnen mit zwei einfachen, aber wichtigen allgemeinen Ungleichungen für die Wahrschein-
lichkeit von Abweichungen einer Zufallsgröße von Null bzw. von ihrem Erwartungswert. Wir
erinnern daran, dass der Erwartungswert einer nicht negativen Zufallsgröße immer definiert ist,
aber eventuell gleich ∞ ist.

Satz 5.1.1 (Markov-Ungleichung). Es sei X eine Zufallsgröße und ϕ : (0, ∞) → (0, ∞) eine
monoton wachsende Funktion. Dann gilt für jedes ε > 0

E(ϕ ◦ |X|)
P(|X| ≥ ε) ≤ .
ϕ(ε)

Beweis. Auf der Menge {|X| ≥ ε} = {ω ∈ Ω : |X(ω)| ≥ ε} gilt wegen der Monotonie von ϕ,
dass ϕ(ε) ≤ ϕ(|X(ω)|). Also gilt die Abschätzung

ϕ ◦ |X|
1l{|X|≥ε} ≤ .
ϕ(ε)

Nun bildet man auf beiden Seiten den Erwartungswert und erhält die behauptete Ungleichung.

55
56 KAPITEL 5. GRENZWERTSÄTZE

Indem man die Markov-Ungleichung auf die Zufallsvariable X −E(X) statt X und ϕ(x) = x2
anwendet, erhält man die sehr nützliche folgende Ungleichung:

Korollar 5.1.2 (Tschebyscheff-Ungleichung). Für jede Zufallsgröße X ∈ L2 und jedes ε > 0

gilt
V(X)
P(|X − E(X)| ≥ ε) ≤ .
ε2

Die Tschebyscheff-Ungleichung kann im Allgemeinen nicht verbessert werden, wie das fol-
gende Beispiel zeigt. Man betrachte eine Zufallsvariable X, die die Werte ε, 0 und −ε annimmt
mit den Wahrscheinlichkeiten (2ε2 )−1 , 1 − ε−2 und (2ε2 )−1 . Dann sind E(X) = 0 und V(X) = 1,
und es gilt Gleichheit in der Tschebyscheff’schen Ungleichung.
Der Wert der Tschebyscheff-Ungleichung liegt in ihrer einfachen Handhabbarkeit und uni-
versellen Anwendbarkeit, sie gibt einen recht guten Eindruck von der Größenordnung der be-
trachteten Wahrscheinlichkeit. Sie ist immerhin gut genug, um einen kurzen Beweis des zentralen
Ergebnisses dieses Abschnittes zu ermöglichen (siehe Satz 5.1.4).
Wir kommen nun zum Gesetz der Großen Zahlen. Wie so oft betrachten wir eine oftmalige
Wiederholung eines zufälligen Experiments, bei dem jeweils ein zufälliges Ergebnis erzielt wird,
das man mit einer Zufallsgröße angeben kann. Sei also Xi ∈ R das Ergebnis der i-ten Ausführung.
Wir nehmen an, dass jede Zufallsgröße Xi den gleichen Erwartungswert E = E(X1 ) = E(X2 ) =
. . . besitzt. Die Intuition sagt, dass die Folge der Mittelwerte n1 Sn = n1 (X1 + · · · + Xn ) sich für
große n der Zahl E annähern sollte. Doch in welchen Sinn sollte das passieren? Eine Aussage wie
‘limn→∞ n1 Sn = E’ können wir noch nicht exakt behandeln, denn dazu müssten alle (unendlich
vielen) Zufallsgrößen X1 , X2 , . . . gleichzeitig definiert sein.1 Wir werden die Annäherung von
1 1
n Sn an E in der Form formulieren, dass die Wahrscheinlichkeit, dass n Sn von E einen gewissen
positiven Abstand hat, mit n → ∞ gegen Null geht. Dies gibt Anlass zu einer Definition:

Definition 5.1.3 (Konvergenz in Wahrscheinlichkeit). Wir sagen, eine Folge (Yn )n∈N von
Zufallsgrößen konvergiert in Wahrscheinlichkeit oder konvergiert stochastisch gegen eine Zu-
fallsgröße Y , falls für jedes ε > 0 gilt:

lim P(|Yn − Y | > ε) = 0.

n→∞

P
In diesem Fall schreiben wir auch Yn → Y .

P P
Es ist klar, dass Yn → Y genau dann gilt, wenn Yn − Y → 0. Man beachte, dass die
Konvergenz in Wahrscheinlichkeit nicht von den Zufallsgrößen abhängt, sondern nur von ihrer
Verteilung. Insbesondere müssen für diesen Konvergenzbegriff nicht unendlich viele Zufallsgrößen
auf einem Wahrscheinlichkeitsraum definiert werden, sondern jeweils nur eine einzige, nämlich
Yn − Y , dies allerdings für jedes n ∈ N.
Der Begriff der Konvergenz in Wahrscheinlichkeit ist tatsächlich ein sehr geeigneter für die
oben gestellte Frage nach einer sinnvollen Formulierung der Annäherung von n1 Sn an E. Wir

1
Tatsächlich kann man diese Aussage (unter Zuhilfenahme von Maßtheorie) präzisieren und unter geeigneten
Voraussetzungen beweisen; siehe später. Eine solche Aussage nennt man das Starke Gesetz der Großen Zahlen.
5.1. DAS GESETZ DER GROSSEN ZAHLEN 57

erinnern daran (siehe Abschnitt 3.5), dass zwei Zufallsvariable X und Y unkorreliert heißen,
wenn E(XY ) = E(X)E(Y ).

Satz 5.1.4 (Schwaches Gesetz der Großen Zahlen). Für jedes n ∈ N seien paarweise unkorre-
lierte Zufallsgrößen X1 , . . . , Xn gegeben, die alle den gleichen Erwartungswert E ∈ R und die
gleiche Varianz V < ∞ besitzen. Sei n1 Sn = n1 (X1 + · · · + Xn ) der Mittelwert. Dann gilt für
jedes ε > 0:
lim P(| n1 Sn − E| > ε) = 0,
n→∞
1
d. h., n Sn konvergiert in Wahrscheinlichkeit gegen E.

Beweis. Auf Grund der Linearität des Erwartungswerts ist E( n1 Sn ) = E, und auf Grund der
paarweisen Unkorreliertheit ist

V( n1 Sn ) = 1
n2
V(X1 + · · · + Xn ) = 1
n2
nV(X1 ) = n1 V ; (5.1.1)

siehe den Satz von Bienaymé, Korollar 3.5.3. Also liefert eine Anwendung der Tschebyscheff-
Ungleichung:
V( n1 Sn ) 1V
P(| n1 Sn − E| > ε) = P(| n1 Sn − E( n1 Sn )| > ε) ≤ 2
= ,
ε n ε2
und dies konvergiert gegen Null für n → ∞.
Insbesondere gilt das Gesetz der Großen Zahlen also auch für unabhängige identisch ver-
teilte Zufallsgrößen mit existierenden Varianzen. Natürlich gibt es weit stärkere Versionen des
Gesetzes der Großen Zahlen in der Literatur, aber darum kümmern wir uns hier nicht. Der Mit-
telwert n1 Sn der n Ausführungen der Experimente liegt also in der Nähe des Erwartungswertes
einer einzelnen Ausführung in dem Sinne, dass Abweichungen einer gegebenen positiven Größe
eine verschwindende Wahrscheinlichkeit haben. Man beachte aber, dass im Allgemeinen nicht
limn→∞ P( n1 Sn 6= E) = 0 gilt.
Unter gewissen zusätzlichen Integrierbarkeitsannahmen kann man sogar erhalten, dass die
Geschwindigkeit der Konvergenz im Gesetz der Großen Zahlen sogar exponentiell ist:
Lemma 5.1.5 (Große Abweichungen). Für jedes n ∈ N seien X1 , . . . , Xn unabhängige, identisch
verteilte Zufallsvariablen. Es existiere ein α > 0, so dass E(eα|X1 | ) < ∞. Wir definieren wieder
E = E(X1 ) und Sn = X1 + · · · + Xn . Dann existiert für jedes ε > 0 ein C > 0 (das von ε und
von α abhängt), so dass

P(| n1 Sn − E| > ε) ≤ 2e−Cn , n ∈ N.

Beweis. Wir dürfen voraussetzen, dass E = E(X1 ) = 0. Wir werden nur zeigen, dass P( n1 Sn >
ε) ≤ e−Cn für alle n ∈ N und ein geeignetes C. Der Beweis der anderen Hälfte der Aussage,
P( n1 Sn < −ε) ≤ e−Cn , läuft analog mit einem eventuell anderen Wert von C > 0, und dann
folgt die Aussage des Lemmas mit dem kleineren der beiden.
Wir fixieren ein β ∈ (0, α/2) und benutzen die Markov-Ungleichung (siehe Satz 5.1.1) für
die Abbildung ϕ(x) = eβx wie folgt:

P( n1 Sn > ε) = P(X1 + · · · + Xn > εn) = P eβ(X1 +···+Xn ) > eβεn ≤ E eβ(X1 +···+Xn ) e−βεn .

58 KAPITEL 5. GRENZWERTSÄTZE

Den auftretenden Erwartungswert kann man mit Hilfe der Unabhängigkeit von eβX1 , . . . , eβXn
(siehe Korollar 3.2.12) und Lemma 3.3.2(d) berechnen zu

E eβ(X1 +···+Xn ) = E(eβX1 )n .

Auf Grund unserer Integrierbarkeitsvoraussetzung und wegen β < α ist diese obere Schranke
endlich. Wenn wir sie oben einsetzen, erhalten wir die Abschätzung
n o
P( n1 Sn > ε) ≤ exp −n βε − log E(eβX1 ) . (5.1.2)

Nun zeigen wir, dass für genügend kleines β > 0 der Term in [. . . ] in (5.1.2) positiv ist. Wir
schreiben nun X statt X1 . Für jedes β ∈ (0, α2 ) ist eβX = 1 + βX + β 2 Yβ mit
∞
X (βX)k−2
Yβ = X 2 .
k!
k=2

Um zu sehen, dass supβ∈(0,α/2) |Yβ | integrierbar ist, schätzen wir ab mit Hilfe eines R > 0, das
α
so groß (nur abhängig von α) ist, dass x2 ≤ e 2 |x| für jedes x ∈ R mit |x| > R gilt:
α α α
Yβ ≤ X 2 eβ|X| ≤ X 2 e 2 |X| ≤ 1l{|X|≤R} R2 e 2 R + 1l{|X|>R} eα|X| ≤ R2 e 2 R + eα|X| .

Also ist supβ∈(0,α/2) |Yβ | integrierbar, und wir erhalten

E(eβX ) = 1 + βE(X) + β 2 E(Yβ ) = 1 + O(β 2 )

für β ↓ 0. Nun ist leicht zu sehen, dass für genügend kleines β > 0 der Term in [. . . ] in (5.1.2)
positiv ist, und dies beendet den Beweis.

5.2 Der Zentrale Grenzwertsatz

Wir gehen zurück zu der im vorigen Abschnitt beschriebenen Situation von oftmaligen Ausfüh-
rungen eines Zufallsexperiments und fragen uns: Wenn also n1 Sn −E gegen Null geht, mit welcher
Rate passiert denn das?2 Ist diese Größe typischerweise von der Ordnung n−1 oder 1/ log n oder
e−n oder von welcher sonst? Eine grobe Antwort wird gegeben durch eine etwas trickreichere
Anwendung der Tschebyscheff’schen Ungleichung, als dies im Beweis des Gesetzes der Großen
Zahlen geschehen ist: Sie liefert für jedes α > 0 die Abschätzung
V
P nα | n1 Sn − E| > ε) ≤ n2α−1 ,
ε2
und dies konvergiert für jedes α < 12 gegen Null. Dies legt die Vermutung nahe, dass n1 Sn − E
√
von der Größenordnung n−1/2 sein sollte und dass die ‘aufgeblähte’ Zufallsvariable n( n1 Sn − E)
gegen etwas Nichttriviales konvergieren könnte. Dies stellt sich auch als korrekt heraus, wie wir
im folgenden Satz 5.2.2 sehen werden. Tatsächlich kommt sogar in einer Vielzahl von Fällen
immer die selbe Grenzverteilung heraus, und zwar die Normalverteilung (siehe Beispiel 4.3.7).
Der Sinn, in dem die Konvergenz stattfindet, ist der folgende.
2
Man beachte, dass diese Frage sehr verschieden ist von der Frage, mit welcher Rate die Wahrscheinlichkeit
P(| n1 Sn − E| ≥ ε) gegen Null geht.
5.2. DER ZENTRALE GRENZWERTSATZ 59

Definition 5.2.1 (Schwache Konvergenz). Es seien Zufallsgrößen X und X1 , X2 , . . . gegeben

mit Verteilungsfunktionen F bzw. F1 , F2 , . . . . Wir sagen, dass Xn in Verteilung oder schwach
w
gegen X konvergiert, geschrieben Xn → X, falls für jedes t ∈ R, in dem F stetig ist, gilt

lim Fn (t) = F (t).

n→∞

w
Man kann leicht zeigen, dass Xn → X genau dann gilt, wenn für alle a < b, so dass die
Verteilungsfunktion von X in a und in b stetig ist, gilt
lim P(Xn ∈ [a, b]) = P(X ∈ [a, b]).
n→∞
w
Die Notation Xn → X lehnt sich an dem englischen Ausdruck ‘weak convergence’ für schwache
Konvergenz an. Wie beim Begriff der Konvergenz in Wahrscheinlichkeit im vorigen Abschnitt
braucht man keine Zufallsgrößen, um die Konvergenz zu formulieren, sondern nur deren Ver-
teilungen, und zwar nur die von Xn für jedes n ∈ N und die von X. Im krassen Unterschied
w w
allerdings gilt nicht, dass Xn → X genau dann gilt, wenn Xn − X → 0, denn die Abbildung, die
eine Zufallsgöße auf ihre Verteilung abbildet, ist nicht linear. (Man betrachte z. B. eine Zufalls-
größe X, die die Werte 1 und −1 mit Wahrscheinlichkeit 1/2 annimmt, und addiere −X.)
Wir formulieren nun das zentrale Ergebnis dieses Abschnitts. Wir werden seinen Beweis nur
skizzieren, aber einen berühmten Spezialfall (Satz 5.2.5) später voll beweisen.

Satz 5.2.2 (Zentraler Grenzwertsatz). Für jedes n ∈ N seien unabhängige und identisch ver-
teilte Zufallsgrößen X1 , . . . , Xn gegeben, die alle den gleichen Erwartungswert E und die gleiche
Varianz V besitzen. Sei n1 Sn = n1 (X1 + . . . , Xn ) der Mittelwert. Dann gilt für jedes t ∈ R
r n 1 Z t
1 x2
lim P Sn − E ≤ t = √ e− 2 dx. (5.2.1)
n→∞ V n 2π −∞
pn
Mit anderen Worten, V ( n1 Sn − E) konvergiert schwach gegen eine standardnormalverteilte
Zufallsgröße: r
n 1
w
Sn − E → N (0, 1).
V n

Beweis. Der volle Beweis wird in Abschnitt 8.3 gegeben; hier beschränken wir uns auf einen
kurzen Überblick.
Die charakteristische Funktion einer Zufallsvariablen X ist definiert als die Funktion ϕX (t) =
E(eitX ) für t ∈ R. Ähnlich wie die erzeugende Funktion legt die charakteristische Funktion von
X die Verteilung von X eindeutig fest, aber sie ist ein weit allgemeineres Instrument; sie kann
von jeder reellwertigen Zufallsvariable gebildet werden. Ferner liefert sie ein Kriterium für die
schwache Konvergenz: Für alle Zufallsgrößen Y, Y1 , Y2 , Y3 , . . . gilt:
w
Yn → Y ⇐⇒ Für jedes t ∈ R gilt lim ϕYn (t) = ϕY (t).
n→∞

Also müssen wir nur noch zeigen, dass die charakteristische Funktion von Vn ( n1 Sn − E) punkt-
p

weise gegen die der Standardnormalverteilung konvergiert. Letztere kann man mit Hilfe des
60 KAPITEL 5. GRENZWERTSÄTZE

2
Cauchy’schen Integralsatzes identifizieren als ϕ(t) = e−t /2 . Wir setzen √
nun E = 0 und √ V = 1,
dann sehen wir mit Hilfe der Unabhängigkeit der Zufallsvariablen eitX1 / n , . . . , eitXn / n ,
√ ∞ √
it(X1 +···+Xn )/ n
X it k 1
itX1 / n
n n
ϕSn /√n (t) = E(e ) = E(e ) = √ E(X1k )
n k!
k=0
it 1 it 2 n
t2 n

≈ 1+ √ E+ √ V = 1− ,
n 2 n n
2 /2
und dies konvergiert für n → ∞ gegen e−t , also die charakteristische Funktion der Standard-
normalverteilung.
Man beachte, dass r n
n 1 1 X Xi − E(Xi )
Sn − E = √ p ,
V n n V(Xi )i=1
√
gleich 1/ n Mal eine Summe von n unabhängigen, identisch verteilten standardisierten Zufalls-
größen ist, wobei eine Zufallsgröße mit Erwartungswert Null und Varianz Eins standardisiert
genannt wird. Der Zentrale Grenzwertsatz sagt also in Kürze:
1 w
X1 , . . . , Xn u.i.v. und standardisiert =⇒ √ (X1 + · · · + Xn ) → N (0, 1).
n
Bemerkung 5.2.3 (ZGWS =⇒ GGZ). Die Aussage des Zentralen Grenzwertsatzes (ZGWS)
ist stärker als die des Schwachen Gesetzes der Großen Zahlen (GGZ). Dies ist überhaupt nicht
√
verwunderlich, wenn man sich klar macht, dass im ZGWS die Konvergenz von Sn / n behauptet
wird (in welchem Sinn auch immer) und im GGZ die Konvergenz von Sn /n gegen Null (wir haben
uns o.b.d.A. auf standardisierte Größen beschränkt, also E = 0 und V = 1 vorausgesetzt). Hier
ist ein Beweis: Sei also die Gültigkeit der Aussage des Satzes 5.2.2 vorausgesetzt, und wir wollen
zeigen, dass daraus das Schwache Gesetz der Großen Zahlen folgt. Sei also ein ε > 0 gegeben.
√
Für jedes C > 0 und alle genügend großen n gilt ε > C/ n, also ist das Ereignis {| n1 Sn | ≥ ε}
√
enthalten in {| n1 Sn | ≥ C/ n}. Daher haben wir
1 1 C
lim sup P Sn > ε ≤ lim P Sn > √ = 2(1 − Φ(C)),
n→∞ n n→∞ n n
und dies konvergiert für C → ∞ gegen Null. Also gilt die Aussage des Schwachen Gesetzes der
Großen Zahlen. 3
Bemerkung 5.2.4 (Der Zentrale Grenzwertsatz als Fixpunktsatz). Es ist bemerkenswert, dass
die Grenzverteilung nicht abhängt von den Details der Verteilung der Xi und immer gleich der
Normalverteilung N (0, 1) ist. Ein wenig Plausibilität dafür kommt von der speziellen Eigenschaft
der
p n Normalverteilung Lemma 4.3.8 her: Falls alle Xi exakt N (0, 1)-verteilt sind, so ist auch
in P
1 −1/2 n
V ( n Sn − E) = n i=1 Xi exakt N (0, 1)-verteilt. Dies heißt, dass die Normalverteilung
ein Fixpunkt ist unter der Abbildung, die eine Wahrscheinlichkeitsverteilung P abbildet auf die
Verteilung von 2−1/2 Mal die Summe zweier unabhängiger Zufallsgrößen mit Verteilung P. In
−1/2 )2−1/2 . Man kann
Termen der zugehörigen Dichten
−n/2
P2n ist dies die Abbildung ϕ 7→ ϕ ? ϕ( · 2
zumindest die Teilfolge 2 i=1 Xi (wobei X1 , X2 , . . . standardisierte unabhängige identisch
2
verteilte Zufallsgrößen im L sind) auffassen als die Iterationsfolge unter der oben beschriebenen
Abbildung. Da die Standardnormalverteilung ein Fixpunkt dieser Abbildung ist, ist es zumindest
nicht unplausibel, dass ein ‘Fixpunktsatz’ wie der Zentrale Grenzwertsatz gelten könnte. 3
5.2. DER ZENTRALE GRENZWERTSATZ 61

Hier kommt also der angekündigte Spezialfall von Satz 5.2.2 für Bernoulli-Zufallsgrößen:

Satz 5.2.5 (Satz von de Moivre-Laplace).

Pn Es seien X1 , . . . , Xn Bernoulli-Zufallsgrößen mit
Parameter p ∈ (0, 1), d. h. Sn = i=1 Xi ist binomialverteilt mit Parametern n und p. Dann
gilt für alle a, b ∈ R mit a < b
Z b
Sn − np 1 x2
lim P a ≤ p ≤b = √ e− 2 dx.
n→∞ np(1 − p) 2π a

Beweis. Wir schreiben q statt 1 − p.

Wir schreiben zunächst die betrachtete Wahrscheinlichkeit als eine Summe von Einzelwahr-
scheinlichkeiten und skalieren diese Summe zu einem Integral, wobei wir die Randeffekte bei a
und bei b pauschal mit o(1) für n → ∞ beschreiben:
√
≈np+b npq
Sn − np X
P a≤ p ≤b = Bin,p (k) + o(1)
np(1 − p) √
k≈np+a npq
Z np+b√npq
= √
Bin,p (btc) dt + o(1)
np+a npq
b
√ √
Z

= npq Bin,p bnp + x npqc dx + o(1).
a

Der Rest des Beweises besteht darin zu zeigen, dass der Integrand gleichmäßig in x ∈ [a, b]
2
gegen ϕ0,1 (x) = (2π)−1/2 e−x /2 konvergiert. Wir schreiben zunächst die Definition von Bin,p (k)
aus und setzen Stirlings Formel asymptotisch für n → ∞ ein:
√ n n
n! ∼ 2πn , n → ∞, (5.2.2)
e
wobei wir wie immer ∼ für asymptotische Äquivalenz benutzen. Man beachte, dass diese und
alle folgenden Approximationen gleichmäßig in x ∈ [a, b] gelten.
√
n n
√ √ √ 2πn
npq Bin,p bnp + x npqc ∼ npq np+x√npq np+x√npq √ e √ √
nq−x npq nq−x npq √
ep 2πnp eq 2πnq
√ √
q −np−x npq p −nq+x npq
r r
1 x x
=√ 1+ √ 1− √ .
2π n p n q
(5.2.3)
Nun schreiben√ wir die letzten beiden Terme mit Hilfe von exp{. . . } und benutzen die Asymptotik
(1 + √c1n )c2 n → ec1 c2 . Also ist die rechte Seite von (5.2.3) asymptotisch gleich

1 n x
r
q x
r o
p 2
√ √ 2
√ √
√ exp −np log 1 + √ − nq log 1 − √ e−x q/p pq e−x p/q pq . (5.2.4)
2π n p n q
Nun benutzen wir eine Taylor-Approximation für den Logarithmus: log(1+h) = h−h2 /2+O(h3 )
für h → 0. Also ist der Term in (5.2.4) asymptotisch äquivalent zu
x2 q x2 p
r r
1 n x q x p o
√ exp −np √ + np + nq √ + nq − x2 q − x2 p . (5.2.5)
2π n p 2n p n q 2n q
62 KAPITEL 5. GRENZWERTSÄTZE

Elementares Zusammenfassen zeigt, dass dies identisch ist mit ϕ0,1 (x).

Beispiel 5.2.6 (Irrfahrt). Sowohl beim Schwachen Gesetz der Großen Zahlen als auch beim
Zentralen Genzwertsatz fragt man sich, mit welcher Wahrscheinlichkeit eine standardisierte Irr-
fahrt auf Z (zum Beispiel die einfache Irrfahrt, die mit gleicher Wahrscheinlichkeit jeweils zum
nächsten Nachbarn springt) zum Zeitpunkt n eine gewisse “Zielscheibe” trifft. Diese ist beim
GGZ für große n allerdings viel größer als beim ZGWS, nämlich [−εn, εn] im Vergleich zu
√ √
[a n, b n]. Man beachte, dass erstere um Null zentriert ist, aber die zweitere nicht unbedingt.
√
Man sieht auch, dass εn durch jede Skala n ersetzt werden kann, und das GGZ mit dieser
Zielscheibe gilt immer noch.

Sn
b√n

2ɛn
a√n

Beispiel 5.2.7 (Normalapproximation). Eine typische Anwendung des Satzes von de Moivre-
Laplace ist die folgende. Wenn man einen fairen Würfel 1200 Mal wirft, wie groß ist dann die
Wahrscheinlichkeit, dass dabei zwischen 190 und 200 Sechsen fallen? Wir nehmen natürlich an,
dass die 1200 Würfe unabhängig voneinander geschehen.
Wir können die Zufallsgrößen Xi interpretieren als 1, falls der i-te Wurf eine Sechs hervor
bringt und als 0 andernfalls. Dann ist die Anzahl der gewürfelten Sechsen gleich S1200 = X1 +· · ·+
X1200 , und wir sind in der Situation des Satzes von de Moivre-Laplace mit p = 61 und n = 1200.
q
500
p
Insbesondere sind np = 200 und np(1 − p) = 3 ≈ 13. Die gesuchte Wahrscheinlichkeit
müssen wir wie folgt umschreiben:
190 − 200 Sn − np
P(190 ≤ S1200 ≤ 200) ≈ P ≤p ≤0
13 np(1 − p)
10 Sn − np
=P − ≤ p ≤ 0 ≈ Φ(0) − Φ(− 10 13 ).
13 np(1 − p)

Es ist klar, dass Φ(0) = 12 , und in einer Tabelle finden wir den Wert Φ(− 10 10
13 ) = 1 − Φ( 13 ) ≈
1 − Φ(0, 77) ≈ 1 − 0, 7794 = 0, 2306. Also ist die gesuchte Wahrscheinlichkeit ungefähr gleich
0, 2794. 3

Beispiel 5.2.8 (Wahlprognose). Bei einer Wahl erhält Kandidat A einen unbekannten Anteil p ∈
(0, 1) der Stimmen. Um den Wert von p zu ermitteln, werten wir die ersten n Wahlzettel aus (bzw.
befragen wir n zufällig gewählte Wähler). Wie groß sollte n sein, damit die Wahrscheinlichkeit
eines Irrtums von mehr als einem Prozent nicht größer als 0, 05 ist? (Übungsaufgabe) 3
Kapitel 6

Maßtheorie

In diesem Kapitel geben wir eine Einführung in die Maß- und Integrationstheorie unter besonde-
rer Berücksichtigung der Wahrscheinlichkeitstheorie. Wir erläutern die fundamentalen Begriffe
und Konzepte wie σ-Algebren, Dynkin-Systeme, Maße, Messbarkeit, Lebesgue-Maß, Verteilungs-
funktionen, Integration, Lp -Räume und Produkträume, und stellen die wichtigsten Hilfsmittel
bereit wie den Satz von Carathéodory, den monotonen und den beschränkten Konvergenzsatz
und das Lemma von Fatou.

6.1 σ-Algebren und Maße

Es sei Ω eine nichtleere, eventuell sehr große Menge. Wir möchten auf Ω Wahrscheinlichkeiten
einführen, um die Teilmengen von Ω zu messen. In anderen Worten, wir möchten eine Abbil-
dung P auf der Menge der Teilmengen von Ω mit Werten in [0, 1] fest legen, so dass wir mit
P(A) die Wahrscheinlichkeit einer Teilmenge A von Ω angeben können. Zu den Grundanfor-
derungen
S an P P
gehören sicher die Kolmogoroffschen Axiome, die besagen, dass P(Ω) = 1 und
P( n∈N An ) = n∈N P(An ) für jede Folge von paarweise disjunkten Teilmengen A1 , A2 , . . . gel-
ten sollen. Insbesondere sollte man erwarten dürfen, dass P(Ac ) = 1 − P(A) gilt.
Dies sind auch die Grundanforderungen, die man an ein Maß P stellt. Allerdings definiert
man ein Maß fast nie auf der gesamten Menge aller Teilmengen von Ω (der sogenannten Po-
tenzmenge P(Ω) von Ω), sondern auf Teilmengensystemen, die kompatibel sind mit den oben
erwähnten Rechengesetzen:

Definition 6.1.1 (σ-Algebra). Ein Mengensystem F auf Ω (also eine Teilmenge F von P(Ω))
heißt eine σ-Algebra, falls gelten:
(i) Ω ∈ F,

(ii) falls A ∈ F, so gilt auch Ac ∈ F,

S
(iii) falls A1 , A2 , A3 , · · · ∈ F, so gilt auch n∈N An ∈ F.

Die Elemente von F heißen messbare Mengen und das Paar (Ω, F) ein messbarer Raum.

Also sind σ-Algebren geeignete Definitionsbereiche für Maße, siehe Definition 6.1.7 weiter

63
64 KAPITEL 6. MASSTHEORIE

unten. Die folgenden Bemerkungen sind offensichtlich oder Übungsaufgaben.

Bemerkung 6.1.2. (a) Die Potenzmenge und {∅, Ω} sind zwei σ-Algebren, und zwar die
beiden trivialen. Alle anderen σ-Algebren liegen zwischen diesen beiden.

(b) Jede σ-Algebra F ist nicht nur gegen Komplementbildung und abzählbare T Vereinigung
abgeschlossen, sondern auch gegen T abzählbare Schnittbildung, d. h. auch n∈N An liegt in
F, wenn A1 , A2 , A3 , · · · ∈ F, denn n∈N An = ( n∈N Acn )c .
S

(c) Beliebige Schnitte von σ-Algebren sind ebenfalls σ-Algebren, aber im Allgemeinen sind
Vereinigungen von σ-Algebren selber keine.

(d) Für jede Menge Ω ist das System der Mengen A ⊂ Ω, so dass A oder Ac abzählbar ist,
eine σ-Algebra.

(e) Wenn Ω und Ω0 zwei Mengen sind und f : Ω → Ω0 eine Abbildung, dann ist für jede σ-
Algebra F 0 auf Ω0 das System aller Urbilder f −1 (A0 ) = {ω ∈ Ω : f (ω) ∈ A0 } mit A0 ∈ F 0
eine σ-Algebra auf Ω.
3

Im Allgemeinen gibt es sehr viele σ-Algebren auf Ω, und viele σ-Algebren sind nicht nur
selber gigantisch groß, sondern auch kaum explizit zu beschreiben. Daher ist es oft nützlich,
Erzeugendensysteme gut zu kennen:

Lemma 6.1.3 (erzeugte σ-Algebra). Zu jedem Mengensystem C auf Ω gibt es genau eine kleinste
σ-Algebra σ(C), die C enthält, d. h. eine σ-Algebra, die C enthält und die in jeder σ-Algebra
enthalten ist, die C enthält. Wir nennen σ(C) die von C erzeugte σ-Algebra.

Beweis. Wir können σ(C) angeben als1

\
σ(C) = {A : A ist eine σ-Algebra mit C ⊂ A}.

Diese Definition ist sinnvoll (also ein nichtleerer Schnitt), denn mindestens P(Ω) ist in dem
Mengensystem enthalten, über das der Schnitt gebildet wird. Man verifiziert leicht, dass dieses
Mengensystem die beiden Eigenschaften besitzt.
Es ist klar, dass immer C ⊂ σ(C) gilt und dass Gleichheit genau dann gilt, wenn C eine
σ-Algebra ist. Ferner gilt σ(C1 ) ⊂ σ(C2 ), falls C1 ⊂ C2 .

Bemerkung 6.1.4. Wenn für jedes i aus einer beliebigen Indexmenge I das System S Fi eine
σ-Algebra ist, so ist ja (wie schon in Bemerkung 6.1.2(c) erwähnt) die Vereinigung i∈I Fi im
Allgemeinen keine σ-Algebra. Die kleinste σ-Algebra, die diese Vereinigung enthält, wird mit
_ [
Fi = σ Fi
i∈I i∈I

bezeichnet. Im Fall I = {1, . . . , n} schreibt man auch F1 ∨ · · · ∨ Fn . 3

Die wichtigste σ-Algebra auf R bzw. Rn ist die folgende.

1 T T
Wir schreiben {Ai : i ∈ I} an Stelle von i∈I Ai = {M ⊂ Ω : M ∈ Ai ∀i ∈ I}.
6.1. σ-ALGEBREN UND MASSE 65

Beispiel 6.1.5 (Borel-σ-Algebra). (a) Auf R betrachten wir die von den offenen Mengen er-
zeugte σ-Algebra, also B = σ(O), wobei O die Menge aller offenen Teilmengen von R ist.
Die σ-Algebra B heißt die Borel-σ-Algebra auf R. Es gilt auch
B = σ({(a, b) : − ∞ ≤ a < b ≤ ∞}
= σ({(−∞, t] : t ∈ R})
= σ({(−∞, t] : t ∈ Q}),
d. h. B wird auch von dem System der offenen Intervalle, dem der links unbeschränkten
und rechts beschränkten, abgeschlossenen Intervalle (mit rationalem Randpunkt) erzeugt
(Übungsaufgaben). Es gibt kein direktes Kriterium, an Hand dessen man von einer gege-
benen Teilmenge von R erkennen kann, ob sie zu B gehört oder nicht.2
(b) Auf Rn betrachten wir die von den offenen Mengen erzeugte σ-Algebra Bn , die die Borel-
σ-Algebra auf Rn genannt wird. Auch Bn wird von Qneiner Reihe anderer Mengensysteme
erzeugt, wie etwa vom System der offenen Kuben i=1 (ai , bi ) mit −∞ ≤ ai < bi ≤ ∞ für
i = 1, . . . , n, dem der abgeschlossenen Mengen oder auch von dem der kompakten Mengen
(Übungsaufgabe).
3
Bemerkung 6.1.6 (Spur-σ-Algebra). Wenn F eine σ-Algebra über Ω ist und Ω
e ⊂ Ω eine
beliebige Teilmenge von Ω, so sieht man leicht, dass

Fe = {A ∩ Ω
e : A ∈ F}

eine σ-Algebra über Ωe ist. Wir nennen Fe die Spur-σ-Algebra von F über Ω.e Falls Ω
e selber
messbar ist, so besteht Fe aus allen messbaren Teilmengen von Ω.
e Beispielsweise werden wir die
Spur-σ-Algebra der Borel-σ-Algebra auf einer Teilmenge I von Rn mit BI bezeichnen. 3

Der zweite zentrale Begriff der Maßtheorie ist das Maß:

Definition 6.1.7 (Maß, Maßraum, Wahrscheinlichkeitsraum). Es sei (Ω, F) ein messbarer

Raum. Es sei µ : F → [0, ∞] eine Abbildung.
(a) µ heißt ein Maß, falls gelten:
(i) µ(∅) = 0,
(ii) µ ist σ-additiv,
S P alle Folgen (An )n∈N von paarweise disjunkten Mengen An ∈
d. h. für
F gilt µ( n∈N An ) = n∈N µ(An ).

In diesem Fall heißt das Tripel (Ω, F, µ) ein Maßraum.

(b) µ heißt σ-endlich,Sfalls eine aufsteigende Folge (Ωn )n∈N von messbaren Teilmengen von Ω
existiert mit Ω = n∈N Ωn und µ(Ωn ) < ∞ für jedes n ∈ N.

(c) µ heißt endlich, falls µ(Ω) < ∞.

(d) µ heißt ein Wahrscheinlichkeitsmaß, falls µ ein Maß ist mit µ(Ω) = 1. In diesem Fall heißt
das Tripel (Ω, F, µ) ein Wahrscheinlichkeitsraum, und wir schreiben meist P statt µ.

2
Dies ist etwa bei dem Begriff der Offenheit einer Menge anders: Falls zu jedem Punkt der Menge noch eine
ganze Umgebung dazu gehört, hat die Menge diese Eigenschaft.
66 KAPITEL 6. MASSTHEORIE

Für den Wahrscheinlichkeitstheoretiker wird also das Tripel (Ω, F, P), der Wahrscheinlich-
keitsraum, das Hauptobjekt der Untersuchung sein. Ein beliebiges endliches Maß µ 6= 0 kann
man leicht zu einem Wahrscheinlichkeitsmaß P = µ/µ(Ω) normieren. Allerdings werden auch
nichtendliche Maße von großer Bedeutung sein, wie zum Beispiel das natürlichste Maß auf der
Borel-σ-Algebra:
n
Beispiel 6.1.8 (Lebesgue-Maß). Auf dem messbaren Raum Qn (R , Bn ) (siehe Beispiel 6.1.5) wol-
len wir ein Maß λn betrachten, das jedem Kubus Q = i=1 [ai , bi ] seinen elementargeometri-
schen Inhalt λn (Q) = ni=1 (bi − ai ) zuordnet. Ein solches Maß nennen wir das Lebesgue-Maß auf
Q
(Rn , Bn ). Allerdings müssen wir die Frage nach der Existenz und Eindeutigkeit noch ein wenig
zurück stellen, siehe Korollar 6.3.3 und Beispiel 6.10.7. 3

Die Existenz und Eindeutigkeit von Maßen mit gewissen gewünschten Eigenschaften be-
handeln wir in Abschnitt 6.2. Wir sammeln zunächst ein paar fundamentale Eigenschaften von
Maßen:
Lemma 6.1.9 (Eigenschaften von Maßen). Es sei µ ein Maß auf einer σ-Algebra F. Dann hat
µ die folgenden Eigenschaften.
(a) µ ist stetig von unten und von oben, d. h.
(i) für jede Folge (An )n∈N in F mit An ↑ A3 für ein A ∈ F gilt limn→∞ µ(An ) = µ(A),
(ii) für jede Folge (An )n∈N in F mit µ(An ) < ∞ für ein n ∈ N und An ↓ A für ein A ∈ F
gilt limn→∞ µ(An ) = µ(A).
S P
(b) µ ist σ-subadditiv, d. h. für jede Folge (An )n∈N in F gilt µ( n∈N An ) ≤ n∈N µ(An ).

Beweis. (a) Wir behandeln nur den Fall An ↑ A. Mit A0 = ∅ definieren wir Bn = An \ An−1 ,
dann sind die Mengen B1 , B2 , B3 , . . . paarweise disjunkt, und ihre Vereinigung ist A. Also gilt
[ X N
X N
[
µ(A) = µ Bn = µ(Bn ) = lim µ(Bn ) = lim µ Bn = lim µ(AN ).
N →∞ N →∞ N →∞
n∈N n∈N n=1 n=1

(b) und (c) Übungsaufgabe.

Die diskrete Wahrscheinlichkeitstheorie ist ein Spezialfall des allgemeinen Konzepts von
Definition 6.1.7:
Beispiel 6.1.10 (diskrete Maße, Dirac-Maß). Es sei Ω beliebig und Ω e ⊂ Ω eine höchstens
e → (0, ∞] definieren wir
abzählbare Teilmenge. Mit einer Abbildung p : Ω
X
µ(A) = p(ω), A ⊂ Ω.
ω∈A∩Ω
e

e konzentriert4
Dann ist µ ein Maß auf der Potenzmenge von Ω, das auf der diskreten Teilmenge Ω
ist. Es gilt dann µ({ω}) = p(ω) > 0 für alle ω ∈ Ω,
e und man nennt ω ein Atom von µ. Das
3 S
Wir schreiben An ↑ A, falls An ⊂TAn+1 für jedes n ∈ N und A = n∈N An , und wir schreiben An ↓ A, falls
An+1 ⊂ An für jedes n ∈ N und A = n∈N An .
4 e ⊂ Ω, falls µ(Ω \ Ω)
Wir sagen, ein Maß ist konzentriert auf einer messbaren Menge Ω e = 0 gilt.
6.1. σ-ALGEBREN UND MASSE 67

Maß µ (oder auch seine Einschränkung auf die Potenzmenge P von Ω) heißt ein diskretes Maß.
e
Falls p(ω) < ∞ für alle ω ∈ Ω, so ist µ σ-endlich. Falls ω∈Ωe p(ω) = 1, so ist µ ein diskretes
e
Wahrscheinlichkeitsmaß. Falls p(ω) = 1 für jedes ω ∈ Ω, e nennen wir µ das Zählmaß auf Ω;
e dann
zählt µ(A) = #(A ∩ Ω)
e die Anzahl der Punkte aus Ω e in A.
Falls Ω e = {ω0 } für ein ω0 ∈ Ω, so heißt µ das Dirac-Maß in ω0 , und
e einelementig ist, also Ω
wir schreiben µ = δω0 . Es gilt also
(
1, falls ω0 ∈ A,
δω0 (A) = (6.1.1)
0 sonst.
Ein beliebiges diskretes Maß µ wie oben P
kann man dann auch als eine Linearkombination von
Dirac-Maßen auffassen, denn es gilt µ = ω∈Ωe p(ω)δω .
Jede aus der diskreten Wahrscheinlichkeitstheorie bekannte Verteilung lässt sich auffassen
als ein diskretes Maß auf (R, P(R)). Die wichtigsten Beispiele sind die folgenden:
X
geometrische Verteilung p(1 − p)n δn , Parameter p ∈ (0, 1),
n∈N0
X αn
Poisson-Verteilung e−α δn , Parameter α > 0,
n!
n∈N0
n
X n k
Binomial-Verteilung p (1 − p)n−k δk , Parameter n ∈ N, p ∈ (0, 1).
k
k=0
3
Warum konstruieren wir nicht alle Maße, die uns interessieren, gleich auf der Potenzmenge
von Ω, sondern machen uns die Mühe, auf σ-Algebren einzuschränken, die ja ein wenig wider-
spenstig sind? Ein berühmtes Beispiel von Vitali (1905) gibt eine überzeugende Antwort:
Beispiel 6.1.11 (Potenzmenge ist zu groß). Es gibt kein Maß auf der Potenzmenge von R, das
jedem Intervall gerade seine Länge zuordnet, d. h. man kann das Lebesguemaß aus Beispiel 6.1.8
nicht auf P(R) erweitern.
Nehmen wir an, dass λ : P(R) → [0, ∞] ein solches Maß sei, und betrachten wir die Äqui-
valenzrelation ∼ auf R, die definiert wird durch x ∼ y ⇐⇒ x − y ∈ Q. Unter Benutzung des
Auswahlaxioms kann man eine Menge A ⊂ [0, 1] konstruieren, die mit jeder Äquivalenzklasse
genauSein Element gemeinsam hat. Daher ist R gleich der abzählbaren disjunkten Vereinigung
R = q∈Q (q + A), wobei q + A die um q verschobene Menge A ist. Wegen der abzählbaren
Additivität ist also X X
∞ = λ(R) = λ(q + A) = λ(A),
q∈Q q∈Q

wobei wir die Translationsinvarianz von λ benutzt haben. Nun zeigen wir aber, dass λ(A) = 0
gilt, womit ein Widerspruch hergestellt ist. Dies geht so. Für die Menge
[
C= (q + A) ⊂ [0, 2]
q∈Q∩[0,1]

gilt X X
2 = λ([0, 2]) ≥ λ(C) = λ(q + A) = λ(A).
q∈Q∩[0,1] q∈Q∩[0,1]

Daraus folgt λ(A) = 0, und der Widerspruch ist komplett. 3

68 KAPITEL 6. MASSTHEORIE

6.2 Konstruktion von Maßen

Wie wir schon in Beispiel 6.1.8 gesehen haben, ist es eine wichtige Aufgabe, die Existenz und
Eindeutigkeit von Maßen zu sichern, die auf gewissen Teilsystemen bestimmte Eigenschaften
aufweisen. Das Hauptmittel ist hierbei der Satz von Carathéodory (siehe Satz 6.2.7), der besagt,
dass Mengenfunktionen, die auf geeigneten Teilsystemen gewisse Struktureigenschaften haben,
auf die davon erzeugte σ-Algebra erweitert werden können. Betrachten wir zunächst geeignete
Teilmengensysteme:
Definition 6.2.1 (durchschnittstabil, Dynkin-System). Es sei C ⊂ P(Ω) ein nichtleeres Men-
gensystem.
(a) C heißt durchschnittstabil, falls für je zwei Mengen A, B ∈ C auch A ∩ B ∈ C gilt.
(b) C heißt ein Dynkin-System, falls gelten:
(i) Ω ∈ C,
(ii) falls A ∈ C, so gilt auch Ac ∈ C,
S
(iii) falls A1 , A2 , A3 , · · · ∈ C paarweise disjunkt sind, so gilt auch n∈N An ∈ C.
Ein Dynkin-System unterscheidet sich also nur darin von einer σ-Algebra, dass die Abge-
schlossenheit gegen abzählbare Vereinigung nur für Folgen paarweise disjunkter Teilmengen ge-
fordert wird. Insbesondere ist jede σ-Algebra ein Dynkin-System, aber nicht umgekehrt.5 Dieser
kleine Unterschied macht es in vielen Fällen viel einfacher, die Eigenschaft eines Dynkin-Systems
zu verifizieren als die einer σ-Algebra. Der Zusammenhang ist allerdings sehr eng:
Lemma 6.2.2. Jedes durchschnittstabile Dynkin-System ist eine σ-Algebra.

Beweis. Es sei C ein durchschnittstabiles

S Dynkin-System. Seien A1 , A2 , A3 , · · · ∈ C, dann müssen
wir zeigen, dass auch A = n∈N An in C liegt.
Mit A0 = ∅ betrachten wir die Mengen Bn = An \ (A1 ∪ · · · ∪ An−1 ), die ja offensichtlich
paarweise disjunkt sind. Offensichtlich ist die Vereinigung der Bn gleich der Vereinigung der
An . Nun zeigen wir mit einer Vollständigen Induktion nach n, dass Bn und A1 ∪ · · · ∪ An zu C
gehören, was also den Beweis beendet.
Für n = 1 ist nichts zu zeigen. Für n ≥ 2 gilt
c
Bn = An ∩ A1 ∪ · · · ∪ An−1 .
Nach Induktionsvoraussetzung ist A1 ∪ · · · ∪ An−1 in C, also auch sein Komplement, also auch
der Schnitt mit An , das heißt Bn liegt in C. Ferner ist
A1 ∪ · · · ∪ An = (A1 ∪ · · · ∪ An−1 ) ∪ Bn
eine disjunkte Vereinigung von zwei Mengen, die in C liegen, also liegt auch A1 ∪ · · · ∪ An in C.
Damit ist die Induktion beendet und damit auch der Beweis des Lemmas.
Analog zu Lemma 6.1.3 erzeugt jedes Mengensystem C auf Ω auch ein Dynkin-System, das
wir mit d(C) bezeichnen wollen, also
\
d(C) = {A ⊂ P(Ω) : A ist ein Dynkin-System mit C ⊂ A}. (6.2.1)

Ein weiterer wichtiger Zusammenhang ist der folgende.

5
Falls Ω eine (endliche) gerade Anzahl von Elementen > 2 enthält, ist das System der Teilmengen mit gerader
Elementanzahl ein Dynkin-System, aber keine σ-Algebra.
6.2. KONSTRUKTION VON MASSEN 69

Satz 6.2.3. Für jedes durchschnittstabile Mengensystem C ist d(C) = σ(C).

Beweis. Da jede σ-Algebra ein Dynkin-System ist, ist klar, dass d(C) ⊂ σ(C). Wenn wir zeigen,
dass d(C) eine σ-Algebra ist, folgt also Gleichheit. Nach Lemma 6.2.2 reicht es zu zeigen, dass
d(C) durchschnittstabil ist. Dazu betrachten wir das Mengensystem
A = {A ⊂ Ω : A ∩ C ∈ d(C) für alle C ∈ C}.
Da C durchschnittstabil ist, gilt C ⊂ A. Nun zeigen wir, dass A ein Dynkin-System ist, indem
wir die drei definierenden Eigenschaften nachweisen. Die erste ist klar. Für jedes A ∈ A ist
für jedes C ∈ C auch die Menge Ac ∩ C = (C c ∪ (A ∩ C))c in d(C), wie man leicht sieht, also
liegt auch Ac in A.
S Und wenn A1 , AS2 , · · · ∈ A paarweise disjunktSsind, so liegt für jedes C ∈ C
auch die Menge ( n∈N An ) ∩ C = n∈N (An ∩ C) in d(C), also n∈N An in A. Also ist A ein
Dynkin-System. Insbesondere gilt d(C) ⊂ A.
Nun betrachten wir das System
Ae = {A ⊂ Ω : A ∩ A0 ∈ d(C) für alle A0 ∈ d(C)}.
Wegen d(C) ⊂ A gilt C ⊂ A.
e Wie bei A zeigt man, dass Ae ebenfalls ein Dynkin-System ist. Also
folgt auch d(C) ⊂ A.
e Dies ist aber äquivalent dazu, dass d(C) durchschnittstabil ist.

Unser Ziel in diesem Abschnitt ist, Mengenfunktionen auf gewissen Mengensystemen zu

Maßen auf σ-Algebren zu erweitern. Dazu brauchen wir zunächst geeignete Mengensysteme, die
einfacher zu behandeln sind als σ-Algebren:
Definition 6.2.4 (Algebra). Ein nichtleeres Mengensystem A ⊂ P(Ω) heißt eine Algebra, falls
für alle A, B ∈ A auch Ac und A ∩ B und A ∪ B in A liegen.

Einer Algebra fehlt also nur die Abgeschlossenheit gegen abzählbare Vereinigungsbildung
zu einer σ-Algebra.6 Die Bedeutung des Begriffes der Algebra liegt darin, dass Algebren (im
Gegensatz zu σ-Algebren) oft sehr explizit angegeben werden können. Zum Beispiel ist das
System aller endlichen Vereinigungen von Intervallen eine Algebra über R.
Analog zur Algebra gibt es auch eine nur endlich additive Version von Maßen:
Definition 6.2.5 (Inhalt, Prämaß). (a) Ein Inhalt µ auf einer Algebra A ist eine Abbildung
µ : A → [0, ∞] mit den Eigenschaften µ(∅) = 0 und µ(A ∪ B) = µ(A) + µ(B) für alle
disjunkten Mengen A, B ∈ A.
(b) Ein σ-additiver Inhalt heißt ein Prämaß. Genauer: Ein Inhalt µ auf einer Algebra A
heißtSein Prämaß, wenn S P (An )n∈N paarweise disjunkter Mengen An ∈ A
für jede Folge
mit n∈N An ∈ A gilt: µ( n∈N An ) = n∈N µ(An ).

Einem Inhalt fehlt also nur die abzählbare Additivität zu einem Maß, vorausgesetzt, dass
sein Definitionsbereich eine σ-Algebra ist. Wenn der Definitionsbereich eines Prämaßes nicht nur
eine Algebra, sondern sogar eine σ-Algebra ist, so ist es schon ein Maß. Es ist klar, dass jeder
Inhalt
S µ monoton P ist (d. h. µ(A) ≤ µ(B) für alle A, B ∈ A mit A ⊂ B), endlich additiv (d. h.
µ(Sni=1 Ai ) = Pni=1 µ(Ai ) für paarweise disjunkte A1 , . . . , An ∈ A) und endlich subadditiv (d. h.
µ( ni=1 Ai ) ≤ ni=1 µ(Ai ) für beliebige A1 , . . . , An ∈ A).
Die σ-Additivität ist sogar äquivalent zur Stetigkeit in ∅:
6
Zum Beispiel ist das System der Teilmengen A von Ω, so dass A oder Ac endlich sind, eine Algebra, aber für
unendliches Ω keine σ-Algebra.
70 KAPITEL 6. MASSTHEORIE

Lemma 6.2.6. Es sei µ ein endlicher Inhalt auf einer Algebra A. Dann sind äquivalent:
(i) µ ist σ-additiv (d. h. ein Prämaß),

(ii) µ ist stetig in der leeren Menge, d. h. für alle Folgen von Mengen A1 , A2 , · · · ∈ A mit
An ↓ ∅ gilt limn→∞ µ(An ) = 0.

Beweis. (i)=⇒(ii): Sei An ↓ ∅. Wir definieren

S∞ Bn = An \ An+1 für n ∈ N. Dann sind die Mengen
P∞
Bn paarweise disjunkt, und es gilt An = m=n Bm für alle n ∈ N. Also ist µ(An ) = m=n µ(Bm ).
Da diese Summe konvergiert, gilt limn→∞ µ(An ) = 0.

S (ii)=⇒(i): Es sei (Bn )n∈N eine Folge von paarweise S∞ disjunkten Mengen in A, so dass B =
B
n∈N n in A liegt. Für n ∈ N betrachte A n+1 = m=n+1 Bm = B \ (B1 ∪ · · · ∪ Bn ) ∈ A. Dann
sind die Mengen B1 , . . . , Bn , An+1 paarweise disjunkt und in A. Wegen der endlichen Additivität
gilt
Xn
µ(B) = µ(Bm ) + µ(An+1 ).
m=1
P∞
Wegen An+1 ↓ ∅ gilt limn→∞ µ(An+1 ) = 0. Also folgt µ(B) = m=1 µ(Bm ), d. h. µ ist σ-additiv.

Nun kommen wir endlich zum Hauptergebnis dieses Abschnittes, das wir allerdings nicht in
voller Stärke beweisen werden:

Satz 6.2.7 (Carathéodory). Es sei µ0 ein σ-endliches Prämaß auf einer Algebra A. Dann gibt
es genau ein Maß µ auf σ(A), das µ0 erweitert, d. h. das auf A mit µ0 übereinstimmt.

Der Existenzteil dieses Satzes wird z. B. in [Ba91, I.5] bewiesen. Wir zeigen hier nur die
Eindeutigkeit, die direkt aus dem folgenden Resultat folgt, das wir noch oft benutzen werden.

Satz 6.2.8 (Eindeutigkeitssatz). Es sei F eine σ-Algebra auf Ω und C ein durchschnittstabiles
Erzeugendensystem von F. Falls zwei auf F definierte Maße µ, ν auf C mit einander überein-
stimmen und eine Folge (Ωn )n∈N in C existiert mit Ωn ↑ Ω und µ(Ωn ) = ν(Ωn ) < ∞ für jedes
n ∈ N, so gilt µ = ν auf F.

Beweis. Zunächst behandeln wir den Spezialfall, wo µ(Ω) = ν(Ω) < ∞. Wir betrachten das
Mengensystem
Fe = {A ∈ F : µ(A) = ν(A)}
und brauchen nur zu zeigen, dass F ⊂ F. e Hierzu reicht es zu zeigen, dass Fe ein Dynkin-System
ist, denn dann gilt nach Satz 6.2.3 schon F = σ(C) = d(C) ⊂ F, e und Fe enthält offensichtlich C.
Dass Fe ein Dynkin-System ist, rechnet man leicht an Hand der Definition nach: Offensichtlich
ist Ω ∈ F,e und für jedes D ∈ Fe gilt µ(Dc ) = µ(Ω) − µ(D) = ν(Ω) − ν(D) = ν(Dc ), also liegt
c
auch D in F. e Und für jede Folge (Dn )n∈N von paarweise disjunkten Mengen in Fe gilt
[ X X [
µ Dn = µ(Dn ) = ν(Dn ) = ν Dn ,
n∈N n∈N n∈N n∈N
S
also liegt n∈N Dn auch in F.
e Damit ist der Spezialfall µ(Ω) = ν(Ω) < ∞ bewiesen.
6.3. VERTEILUNGSFUNKTIONEN 71

Im allgemeinen Fall betrachten wir für n ∈ N die endlichen Maße µn und νn , die definiert
sind durch µn (A) = µ(A ∩ Ωn ) bzw. νn (A) = ν(A ∩ Ωn ) für alle A ∈ F. Auf µn und νn können
wir die oben bewiesene Aussage anwenden und erhalten, dass µn = νn für jedes n ∈ N. Durch
Grenzübergang n → ∞ erhält man µ(A) = ν(A) für jedes A ∈ F, also stimmen µ und ν überein.

Korollar 6.2.9. Falls zwei endliche Maße µ, ν mit µ(Ω) = ν(Ω) auf einem durchschnittstabilen
Erzeugendensystem mit einander überein stimmen, so sind sie schon gleich.

Ein oft benutzter Begriff im Zusammenhang mit Maßen ist der folgende.

Definition 6.2.10 (Nullmengen, Vollständigkeit). Es sei (Ω, F, µ) ein Maßraum. Eine Menge
A ⊂ Ω (auch wenn sie nicht in F liegt) heißt eine µ-Nullmenge, falls eine messbare Menge
F ∈ F existiert mit µ(F ) = 0 und A ⊂ F . Der Maßraum (Ω, F, µ) heißt vollständig, falls F
alle µ-Nullmengen enthält.

Als eine einfache Übungsaufgabe zeigt man leicht:

Lemma 6.2.11. Abzählbare Vereinigungen von Nullmengen sind Nullmengen.

Bemerkung 6.2.12 (Vervollständigung). Jeder Maßraum (Ω, F, µ) lässt sich sehr leicht ver-
vollständigen. Das Mengensystem7

G = {A ⊂ Ω : Es gibt ein B ∈ F, so dass A4B eine µ-Nullmenge ist}

kann man leicht als eine σ-Algebra erkennen. Ferner lässt sich µ leicht auf G erweitern: Für A ∈ G
existiert ja ein B ∈ F, so dass A4B eine µ-Nullmenge ist. Nun setzt man µ(A) = µ(B). Als
Übungsaufgabe verifiziert man leicht, dass µ wohldefiniert ist (d. h. dass diese Definition nicht
von der Wahl von B abhängt) und dass (Ω, G, µ) ein vollständiger Maßraum ist. Man nennt ihn
die Vervollständigung von (Ω, F, µ). Es hat manchmal Vorteile, mit einer Vervollständigung zu
arbeiten, aber man darf nicht vergessen, dass die σ-Algebra G vom Maß µ abhängt. 3

6.3 Verteilungsfunktionen
Wir erinnern daran (siehe Beispiel 6.1.5), dass die Borel-σ-Algebra B auf R insbesondere von
den Mengen (−∞, t] mit t ∈ R erzeugt wird. Wir zeigen in diesem Abschnitt, dass Maße µ auf
(R, B) eindeutig fest gelegt werden durch die Abbildung t 7→ µ((−∞, t]). Im Fall eines Wahr-
scheinlichkeitsmaßes µ nennt man diese Abbildung die Verteilungsfunktion von µ. Im Folgenden
finden wir hinreichende und notwendige Eigenschaften von Funktionen F : R → R, so dass es
ein Maß µ gibt mit F (t) = µ((−∞, t]) für alle t ∈ R. Zunächst eine einfache Beobachtung.

Lemma 6.3.1. Für jedes Maß µ auf (R, B) mit µ((s, t]) < ∞ für alle s < t ist die Abbildung
t 7→ µ((−∞, t]) monoton steigend und rechtsseitig stetig.

Beweis. Die
T Monotonie 1ist klar, und die rechtsseitige Stetigkeit folgt aus der Darstellung
(−∞, t] = n∈N (−∞, t + n ] sowie der Stetigkeit des Maßes µ von oben, siehe Lemma 6.1.9(a).

7
Mit A4B = (A \ B) ∪ (B \ A) bezeichnen wir die symmetrische Differenz von A und B.
72 KAPITEL 6. MASSTHEORIE

Tatsächlich erweisen sich diese beiden Eigenschaften schon als entscheidend:

Satz 6.3.2. Zu jeder monoton steigenden, rechtsseitig stetigen Abbildung F : R → R gibt es

genau ein Maß µ auf (R, B) mit F (t) − F (s) = µ((s, t]) für alle s, t ∈ R mit s < t.

Beweis. Es sei J die Menge aller Intervalle (s, t] mit −∞ ≤ s ≤ t < ∞ und aller Intervalle (s, ∞)
mit −∞ ≤ s ≤ ∞. Ferner sei a(J ) die von J erzeugte Algebra, das heißt die kleinste Algebra,
die J enthält. Man kann leicht zeigen, dass a(J ) aus allen endlichen disjunkten Vereinigungen
der Intervalle in J besteht. Wir definieren
µ((s, t]) = F (t) − F (s), −∞ ≤ s ≤ t < ∞,
µ((s, ∞)) = F (∞) − F (s), −∞ ≤ s < ∞,

wobei wir F (∞) = limt→∞ F (t) ∈ (−∞, ∞] und F (−∞) = lims→−∞ F (s) ∈ [−∞, ∞) setzen.
Natürlich können wir µ sofort leicht auf a(J ) erweitern: Eine disjunkte Vereinigung von Interval-
len dieser Form erhält als µ-Wert natürlich die Summe der µ-Werte der Intervalle.
S Es ist evident,
dass µ ein Inhalt auf a(J ) ist. Offensichtlich ist µ auch σ-endlich, denn R = n∈N (−n, n], und
µ((−n, n]) = F (n) − F (−n) < ∞.
Nach dem Satz von Carathéodory genügt es zu zeigen, dass µ ein Prämaß auf a(J ) ist.
Diese Eigenschaft zeigen wir nur für den Fall −∞ < F (−∞) < F (∞) < ∞, der allgemeine Fall
ist eine Übungsaufgabe. Nach Lemma 6.2.6 müssen wir zeigen, dass µ(An ) → 0 für jede Folge
(An )n∈N in a(J ) mit An ↓ ∅ gilt. Dies beweisen wir indirekt: SeiT(An )n∈N eine fallende Folge in
a(J ) mit a = limn→∞ µ(An ) > 0, dann werden wir zeigen, dass n∈N An 6= ∅ gilt.
(i) Zunächst zeigen wir, dass für jedes Intervall I ∈ J und jedes ε > 0 ein Intervall I 0 ∈ J
und ein kompaktes Intervall L existieren mit

I0 ⊂ L ⊂ I und µ(I 0 ) ≥ µ(I) − ε. (6.3.1)

Im Fall I = (s, t] mit s, t ∈ R wählen wir I 0 = (s0 , t] und L = [(s + s0 )/2, t], wobei s0 ∈ (s, t)
so gewählt wurde, dass F (s0 ) ≤ F (s) + ε gilt. Dann ist offensichtlich (6.3.1) erfüllt. Im Fall
I = (−∞, t] wählen wir ein s0 ∈ (−∞, t] mit F (s0 ) ≤ F (−∞) + ε und setzen I 0 = (s0 , t] und
L = [s0 − 1, t]. Die Fälle I = (s, ∞) und I = R gehen analog.
(ii) Jedes An ∈ a(J ) ist eine endliche Vereinigung von Intervallen in J . Aus (i) folgt daher,
dass wir Bn ∈ a(J ) und eine kompakte Menge Kn ⊂ R finden können mit Bn ⊂ Kn ⊂ An und
µ(Bn ) ≥ µ(An ) − a2−n−1 .
(iii) Es gilt für jedes n ∈ N
n
[
An \ (B1 ∩ · · · ∩ Bn ) = (A1 ∩ · · · ∩ An ) \ (B1 ∩ · · · ∩ Bn ) ⊂ (Ai \ Bi )
i=1

und daher auch

n
[
µ(B1 ∩ · · · ∩ Bn ) ≥ µ(An ) − µ (Ai \ Bi )
i=1
n
X n
X
≥ µ(An ) − µ(Ai \ Bi ) ≥ a − a2−i−1 ≥ a/2.
i=1 i=1
6.4. MESSBARE ABBILDUNGEN 73

Daher ist B1 ∩· · ·∩Bn 6= ∅ für jedes n ∈ N. Wegen Bn ⊂ Kn ist auch die Menge K n = K1 ∩· · ·∩Kn
nicht leer für jedesTn ∈ N. Da (K n )n∈N eine absteigende Folge nichtleerer
T kompakter Mengen
ist, ist ihr Schnitt n∈N K n nicht leer. Wegen Kn ⊂ An ist auch n∈N An nicht leer, und das
war zu zeigen.
Nachzutragen ist noch, dass µ im Falle F (∞) − F (−∞) = 1 ein Wahrscheinlichkeitsmaß
ist. In diesem Fall kann man ohne Einschränkung voraus setzen, dass F (−∞) = 0 gilt, und man
nennt F die Verteilungsfunktion von µ. Wir haben dann µ((−∞, t]) = F (t) für jedes t ∈ R.
Ferner haben wir endlich einen Existenz- und Eindeutigkeitsbeweis für das Lebesgue-Maß, siehe
Beispiel 6.1.8:

Korollar 6.3.3 (Lebesgue-Maß). Es gibt genau ein Maß λ auf (R, B) mit λ((s, t]) = t − s für
alle s < t. Dieses Maß λ heißt das Lebesgue-Maß auf R.

Beweis. Wir wenden Satz 6.3.2 auf F (t) = t an.

Korollar 6.3.4 (stetige Dichten). Es sei f : R → [0, ∞) eine stetige nichtnegative Funktion,
Rb
so dass das Riemann-Integral a f (x) dx endlich ist für alle a, b ∈ R mit a < b. Dann existiert
Rb
genau ein Maß µf auf (R, B) mit µf ((a, b]) = a f (x) dx für alle a < b. Wir sagen, µf habe die
Dichte f .
Rt
Beweis. Wir wenden Satz 6.3.2 auf F (t) = −∞ f (x) dx an.
Das Beispiel aus Korollar 6.3.4 kann man stark verallgemeinern; siehe Abschnitt 6.6.

6.4 Messbare Abbildungen

Bei Abbildungen zwischen messbaren Räumen muss die Kompatibilität mit den jeweiligen σ-
Algebren beachtet werden.

Definition 6.4.1 (messbare Abbildung). Es seien (Ω, F) und (Ω0 , F 0 ) zwei messbare Räume.
Eine Abbildung f : Ω → Ω0 heißt F-F 0 -messbar oder auch nur kurz messbar, falls für jedes
A ∈ F 0 das Urbild f −1 (A) = {ω ∈ Ω : f (ω) ∈ A} in F liegt.

Eine Abbildung f : Ω → Ω0 heißt also messbar, falls die Urbild-σ-Algebra

f −1 (F 0 ) = {f −1 (A) : A ∈ F 0 }

eine Teilmenge von F ist. Im Fall (Ω0 , F 0 ) = (R, B) sprechen wir auch einfach von F-Messbarkeit
oder von Borel-Messbarkeit.

Bemerkung 6.4.2. Wenn über Ω a priori keine σ-Algebra existiert, so kann man mit Hilfe
eines messbaren Raums (Ω0 , F 0 ) und einer Abbildung f : Ω → Ω0 über Ω eine σ-Algebra erklären,
indem man F = σ(f ) = f −1 (F 0 ) setzt. Diese σ-Algebra ist die kleinste σ-Algebra über Ω, so
dass f bezüglich ihr messbar ist. Man nennt σ(f ) auch die durch f auf Ω erzeugte σ-Algebra. 3
74 KAPITEL 6. MASSTHEORIE

Für das Urbild f −1 (A) werden wir manchmal auch abkürzend {f ∈ A} schreiben. Darüber
hinaus werden wir auch folgende Konventionen benutzen:
{f < t} = {ω ∈ Ω : f (ω) < t},
{f = g} = {ω ∈ Ω : f (ω) = g(ω)},
{f = 0} = {ω ∈ Ω : f (ω) = 0}
und so weiter.
Es ist im Folgenden bequem, den Wertebereich R = R ∪ {∞} ∪ {−∞} zuzulassen. Eine
Funktion f : Ω → R belegen wir auch mit der unsinnigen, aber üblichen Bezeichnung numerisch.
Auf R betrachten wir die σ-Algebra B, die von B, {∞} und {−∞} erzeugt wird. Eine F-B-
messbare Funktion ist dann also eine messbare numerische Funktion.
Es ist schlicht unmöglich, alle Urbildmengen f −1 (A) auf Zugehörigkeit zu F zu prüfen.
Glücklicherweise kann man sich stark einschränken:
Lemma 6.4.3. Eine Abbildung f : Ω → Ω0 ist genau dann F-F 0 -messbar, wenn es ein Erzeu-
gendensystem C von F 0 gibt mit f −1 (C) ⊂ F.

Beweis. Man weist leicht als Übungsaufgabe nach, dass das System
Af = {A ⊂ Ω0 : f −1 (A) ∈ F}
eine σ-Algebra ist. Da nach Voraussetzung C ⊂ Af gilt, gilt auch F 0 = σ(C) ⊂ Af . Dies aber
bedeutet, dass f −1 (F 0 ) ⊂ F gilt.
Insbesondere ist eine Abbildung f : Ω → R schon Borel-messbar, wenn für alle t ∈ R gilt:
{ω ∈ Ω : f (ω) ≤ t} = f −1 ((−∞, t]) ∈ F, denn die Intervalle (−∞, t] bilden ein Erzeugendensy-
stem von B.
Messbarkeit wird unter nahezu allen nur denkbaren sinnvollen Operationen erhalten. Wir
sammeln diese Ergebnisse in den folgenden Lemmata.
Lemma 6.4.4. Hintereinanderausführungen von messbaren Funktionen sind messbar. Ausführ-
lich: Falls (Ωi , Fi ) mit i = 1, 2, 3 drei messbare Räume sind und f1 : Ω1 → Ω2 sowie f2 : Ω2 → Ω3
messbar sind, so ist auch f2 ◦ f1 : Ω1 → Ω3 messbar.

Beweis. Dies folgt leicht aus (f2 ◦ f1 )−1 (A) = f1−1 (f2−1 (A)) ∈ F1 für A ∈ F3 .

Lemma 6.4.5. Es sei (Ω, F) ein messbarer Raum und (fn )n∈N eine Folge messbarer numeri-
scher Funktionen auf Ω. Dann sind f = lim inf n→∞ fn und f = lim supn→∞ fn ebenfalls messbare
numerische Funktionen. Falls alle fn reellwertig sind und f ebenfalls, so ist f Borel-messbar,
analog für f . Insbesondere sind (punktweise) Grenzwerte von messbaren Funktionen messbar.

Beweis. Wir zeigen die Aussage nur für f . Es genügt zu zeigen, dass {ω ∈ Ω : f (ω) ≤ t} ∈ F
für jedes t ∈ R. Es ist f = limn→∞ inf m≥n fm , wobei dieser Grenzwert monoton steigend ist.
Also können wir schreiben:
\n o \ \n 1o
{ω : f (ω) ≤ t} = ω : inf fm (ω) ≤ t = ω : inf fm (ω) < t +
m≥n m≥n k
n∈N n∈N k∈N
\ \ [ n 1o
= ω : fm (ω) < t + ∈ F.
k
n∈N k∈N m∈N : m≥n
6.4. MESSBARE ABBILDUNGEN 75

Messbarkeit erhält sich auch unter allen algebraischen Verknüpfungen:

Lemma 6.4.6. (a) Jede konstante Funktion ist messbar.

(b) Sind f und g messbare Funktionen, so sind auch f + g und f g messbar.

(d) Falls A eine messbare Menge ist, so ist die Indikatorfunktion 1lA messbar.

Hierbei ist die Indikatorfunktion 1lA : Ω → R auf einer Menge A ⊂ Ω definiert durch
(
1, falls ω ∈ A,
1lA (ω) =
0 sonst.

Beweis von Lemma 6.4.6. Die Aussagen (a) und (d) sind klar. Offensichtlich ist die Menge
[
{f < g} = {f < q} ∩ {q < g}
q∈Q

messbar, wenn f und g messbar sind, und leicht sieht man auch die Messbarkeit der Mengen {f ≤
g}, {f = g} und {f 6= g} ein. Auch sieht man leicht die Messbarkeit von α + τ g für alle α, τ ∈ R.
Die Messbarkeit von f + g folgt dann aus der Messbarkeit der Menge {f + g ≤ t} = {f ≤ t − g}
für jedes t ∈ R. Dass f g messbar ist, sieht man an der Darstellung f g = 14 (f + g)2 − 14 (f − g)2 ,
denn auch die Messbarkeit von Quadraten messbarer Funktionen ist leicht zu sehen. Der Beweis
von (c) ist eine Übungsaufgabe.

Bemerkung 6.4.7 (Borel-σ-Algebren). Die Borel-σ-Algebra kann natürlicherweise auf jedem

topologischen Raum Ω definiert werden als die von dem System der offenen Mengen erzeugte σ-
Algebra. Dies erzwingt auf natürliche Weise eine Kompatibilität mit der Stetigkeit: Jede stetige
Abbildung zwischen messbaren Räumen, die mit der entsprechenden Borel-σ-Algebra versehen
sind, ist messbar. Dies folgt direkt aus der Tatsache, dass die Urbilder offener Mengen unter
stetigen Abbildungen offen sind, in Kombination mit Lemma 6.4.3. 3

Lemma 6.4.8. Ist f eine messbare Funktion, so sind f + = max{f, 0}, f − = max{−f, 0} und
|f | messbar.

Beweis. Man kombiniere Lemma 6.4.4, Lemma 6.4.6 und Bemerkung 6.4.7.

Definition 6.4.9 (einfache Funktion). Es sei (Ω, F) ein messbarer Raum. Eine einfache Funk-
tion ist eine endliche Linearkombination
Pn von Indikatorfunktionen auf messbaren Mengen, d. h.
eine Funktion der Form i=1 ai 1lAi mit n ∈ N, a1 , . . . , an ∈ R und A1 , . . . , An ∈ F.

Die Menge der einfachen Funktionen ist offensichtlich abgeschlossen gegen (punktweise) Ad-
dition, Multiplikation, Maximum- und Minimumbildung. Mit ihnen kann man alle nichtnegativen
messbaren numerischen Funktionen approximieren durch monotone Grenzwertbildung:
76 KAPITEL 6. MASSTHEORIE

Lemma 6.4.10. Für jede nichtnegative messbare numerische Funktion f gibt es eine monoton
wachsende Folge von einfachen Funktionen f1 , f2 , f3 , . . . mit fn ↑ f für n → ∞.

Beweis. Wähle
n2 n
X
fn = (k − 1)2−n 1l{(k−1)2−n ≤f <k2−n } + n1l{f ≥n} .
k=1

Mit diesem Ergebnis kann man die Menge aller messbaren numerischen Funktionen wie folgt
charakterisieren:

Satz 6.4.11. Es sei (Ω, F) ein messbarer Raum und Γ eine Menge von nichtnegativen messba-
ren numerischen Funktionen mit den folgenden Eigenschaften:
(i) Falls f, g ∈ Γ und a, b ∈ (0, ∞), so gilt af + bg ∈ Γ.

(ii) Falls f1 , f2 , f3 , · · · ∈ Γ mit fn ↑ f für n → ∞, so gilt f ∈ Γ.

(iii) Γ enthält alle Indikatorfunktionen 1lA mit A ∈ F.

Dann ist Γ die Menge aller nichtnegativen messbaren numerischen Funktionen.

Beweis. Aus (i) und (iii) folgt, dass Γ alle nichtnegativen einfachen Funktionen enthält. Mit (ii)
und Lemma 6.4.10 folgt die Aussage.
Satz 6.4.11 wird routinemäßig für diverse Beweise über Eigenschaften messbarer Funktionen
oder verwandter Objekte eingesetzt werden. Dieses Beweisverfahren wird auch maßtheoretische
Induktion genannt: Wenn gezeigt werden soll, dass alle nichtnegativen messbaren numerischen
Funktionen eine gewisse Eigenschaft besitzen, so reicht es also zu zeigen, dass alle nichtnegativen
einfachen Funktionen diese Eigenschaft besitzen und dass diese Eigenschaft sich erhält unter
Bildung von Linearkombinationen und monotonen Grenzwerten.

6.5 Integration

R diesem Abschnitt sei ein σ-endlicher Maßraum (Ω, F, µ) vorgegeben. Wir wollen das Integral
In
Ω f dµ von messbaren Funktionen f : Ω → R bezüglich µ einführen. Dies machen wir in drei
Schritten:

(i) für einfache Funktionen durch eine offensichtliche Formel,

(ii) für nichtnegative Funktionen durch monotonen Grenzübergang,

(iii) für beliebige Funktionen durch Zerlegung in Positiv- und Negativteil.

Dieses Vorgehen ist fundamental in der Integrationstheorie, und es wird sich später an vielen
Stellen zeigen, dass es auch ein effektives Beweisgerüst liefert für eine Vielzahl von Aussagen
über Integrale messbarer Funktionen (siehe auch die Bemerkung nach Satz 6.4.11).
6.5. INTEGRATION 77

Definition 6.5.1 (Definition des Integrals).

(i) Das Integral einer nichtnegativen einfachen Funktion f = ni=1 ai 1lAi mit A1 , . . . , An ∈ F
P
und a1 , . . . , an > 0 wird definiert als
Z n
X
f dµ = ai µ(Ai ).
i=1

(ii) Das Integral einer nichtnegativen messbaren numerischen Funktion f : Ω → [0, ∞] wird
definiert als Z Z
f dµ = lim fn dµ ∈ [0, ∞],
n→∞

wobei (fn )n∈N eine Folge nichtnegativer einfacher Funktionen sei mit fn ↑ f .

(iii) Sei f : Ω → R messbar und numerisch, so dass f + dµ < ∞ und f − dµ < ∞. In diesem
R R

Fall nennen wir f integrierbar bezüglich µ, und das Integral von f wird definiert als
Z Z Z
f dµ = f + dµ − f − dµ

Wir schreiben L1 (Ω, F, µ) (oder auch kurz L1 (µ) oder einfach nur L1 ) für die Menge aller
bezüglich µ integrierbaren Funktionen.

Es sind etliche Bemerkungen notwendig:

Bemerkung 6.5.2. (a)P Um zu zeigen, dass Definition 6.5.1(i) sinnvoll ist, muss man
Pn zeigen,
n
dass der Ausdruck i=1 a i µ(Ai ) nicht von der gewählten Darstellung f = i=1 ai 1lAi
abhängt. Dies kann man leicht tun, nachdem man sich überlegt hat, dass man ohne Ein-
schränkung davon ausgehen kann, dass die Mengen A1 , . . . , An paarweise disjunkt sind;
siehe auch [Ba91, Lemma 10.2].

(b) Eine ähnliche, aber etwas schwierigere

R Aufgabe hat man bei Definition 6.5.1(ii): Man muss
zeigen, dass der Ausdruck limn→∞ fn dµ nicht von der gewählten Folge (fn )n∈N abhängt.
(Die Existenz einer solchen Folge wird ja durch Lemma 6.4.10 garantiert.) Man zeige dies
als Übungsaufgabe oder konsultiere [Ba91, Korollar 11.2]. Wir weisen darauf hin, dass
dieses hier von uns unter den Tisch gekehrte technische Detail die eigentliche Schwierigkeit
ist beim Beweis der folgenden Resultate in Lemma 6.5.4 und den Sätzen 6.8.1 und 6.8.6.
Man könnte auch das Integral einer nichtnegativen messbaren Funktion definieren als
Supremum aller Integrale messbarer nichtnegativer einfacher Funktionen, die nicht größer
sind als die betrachtete Funktion, und verschiebt die oben genannte Schwierigkeit.
R R R
(c) Statt f dµ schreibt man auch oft ausführlicher Ω f (ω) µ(dω) oder Ω f (ω) dµ(ω).
R
(d) Für nichtnegative numerische messbare Funktionen f ist f dµ also immer definiert,
aber es kann gleich ∞ sein. Eine beliebige numerische messbare Funktion f nennt man
manchmal auch noch
R dann integrierbar (allerdings R nur in unbestimmtemR Sinn), wenn
f Rdµ = ∞ und f − dµ < ∞ (dann
R + + dµ < ∞
mit Wert f dµ = ∞) oder wenn f
und f − dµ = ∞ (dann mit Wert f dµ = −∞).
R
78 KAPITEL 6. MASSTHEORIE

R R
(e) Für eine messbare Menge A ∈ F setzt man A f dµ = (f 1lA ) dµ.
(f) Falls g : Ω → [0, ∞] nichtnegativ und integrierbar ist und f eine numerische messbare
Funktion mit |f | ≤ g, so ist auch f integrierbar (leichte Übungsaufgabe).
R
(g) Die Abbildung f 7→ f dµ ist linear und monoton (manchmal auch isoton genannt), d. h.
R a, b ∈ R und integrierbare
für R R Funktionen f und g ist auch R af +Rbg integrierbar mit
(af + bg) dµ = a f dµ + b g dµ, und falls f ≤ g, ist f dµ ≤ g dµ. Insbesondere
ist L1 (Ω, F, µ) ein Vektorraum. Die Linearität sieht man leicht für einfache Funktionen
direkt ein, durch Grenzübergang überträgt sie sich leicht auf nichtnegative Funktionen,
und der allgemeine Fall folgt wiederum leicht durch Zerlegung in Positiv- und Negativteil
unter Benutzung der Dreiecksungleichung und Bemerkung (f). Dies ist unser erstes Beispiel
für eine maßtheoretische Induktion, d.h. ein Beweisverfahren, das strukturell dem Prinzip
der Definition 6.5.1 folgt und formal mit Hilfe von Satz 6.4.11 durchgeführt wird. Die
Monotonie beweist man ebenfalls mit diesem Verfahren.
R
(h) Falls f ≥ 0 und µ({ω : f (ω) = ∞}) > 0, so gilt f dµ = ∞, wie man leicht als eine
Übungsaufgabe zeigt.
(i) Falls µ = P ein Wahrscheinlichkeitsmaß
R ist, so schreiben wir auch E(f ) (oder EP (f ), falls
P betont werden soll) statt f dP und nennen E(f ) den Erwartungswert von f .
3
Bemerkung 6.5.3 (fast überall, fast sicher). Eine wichtige, oft benutzte Begriffsbildung im
Zusammenhang mit Eigenschaften in Bezug auf Elemente in Ω ist die folgende. Wir sagen, eine
Eigenschaft gilt µ-fast überall oder kurz µ-f. ü., falls die Menge derjenigen ω, für die sie nicht gilt,
eine µ-Nullmenge ist; siehe Definition 6.2.10. Falls also z. B. zwei messbare Funktionen f und g
sich nur auf einer µ-Nullmenge von einander unterscheiden, d. h. wenn µ({ω : f (ω) 6= g(ω)}) = 0,
so schreiben wir f = g µ-f. ü. In dem Fall, dass µ = P ein Wahrscheinlichkeitsmaß ist, sagen wir
P-fast sicher und schreiben P-f. s. 3
Lemma 6.5.4. Es seien f, g ∈ L 1
R . DannRgelten:
(a) Falls f = g µ-f. ü., so gilt f dµ = g dµ.
R R
(b) Falls f ≥ g und f dµ = g dµ, so gilt f = g µ-f. ü.

Beweis. (a) Durch Zerlegung in Positiv- und Negativteil können wir annehmen, dass f und
g nichtnegativ sind. Es sei (fn )n∈N eine Folge von einfachen Funktionen mit fn ↑ f . Für die
(messbare) Menge D = {ω ∈ Ω : f (ω) = g(ω)} geltenR µ(Dc )R = 0 und 1lD fn ↑ 1lD f =R1lD g. Man
beachte,
R dass für jede einfache Funktion h gilt: D h dµ = h dµ. R Insbesondere
R ist D fn dµ =
R n ∈ N, und der Grenzübergang n → ∞ lässt D f dµ = f dµ folgen. Analog
fnRdµ für jedes
gilt D g dµ = g dµ. Wegen 1lD f = 1lD g folgt die Aussage.
R
(b) Nach Voraussetzung gelten f −g ≥ 0 und (f −g) dµ = 0. Es genügt R also, den Fall g = 0
1 1
zu betrachten. Für n ∈ N sei An = {f ≥ n }. Dann gilt fS≥ n 1lAn . Aus f dµ = 0 folgt somit
0 = n1 1lAn dµ = n1 µ(An ), also µ(An ) = 0. Da {f > 0} = n∈N An eine abzählbare Vereinigung
R

von Nullmengen ist, ist {f > 0} nach Lemma 6.2.11 selber eine.

Bemerkung 6.5.5 (Riemann-Integral). Die Integration bezüglich des Lebesgue-Maßes λn auf

(Rn , Bn ) wird Lebesgue-Integration genannt. Der größte und wichtigste Unterschied zum Riemann-
Integral ist, dass die Unterteilungen beim Riemann-Integral im Definitionsbereich gemacht wer-
den und beim Lebesgue-Integral im Wertebereich. Das Riemann-Integral kommt nicht von einem
6.6. BILDMASSE UND DICHTEN 79

Maß her, denn dieser Integralbegriff ist nicht kompatibel mit abzählbaren Operationen.8 Trotz-
dem gibt es enge Zusammenhänge zwischen dem Riemann- und dem Lebesgue-Integral. Wir
zitieren die wichtigsten Tatsachen (Beweis siehe etwa [Ba91, Satz 16.4 und Korollar 16.5]):

(a) Jede auf einem kompakten Intervall messbare, Riemann-integrierbare Funktion ist auch
Lebesgue-integrierbar, und die beiden Integrale stimmen überein.

(b) Jede auf einem unbeschränkten Intervall I messbare nichtnegative Funktion, die über jedes
kompakte Teilintervall Riemann-integrierbar ist, ist genau dann Lebesgue-integrierbar über
I, wenn ihr uneigentliches Riemann-Integral über I existiert, und die beiden Integrale
stimmen dann überein.

Dass man in (b) nicht auf die Nichtnegativität verzichten kann, sieht man an dem Beispiel
(0, ∞) 3 x 7→ x1 sin x. 3

6.6 Bildmaße und Dichten

Mit Hilfe von messbaren Abbildungen kann man aus gegebenen Maßen weitere Maße konstruie-
ren. Wir stellen die beiden wichtigsten Prinzipien hier vor.

Bildmaße
Es sei (Ω, F, µ) ein Maßraum und (Ω0 , F 0 ) ein weiterer messbarer Raum. Ferner sei f : Ω → Ω0
eine messbare Funktion. Wir definieren µ ◦ f −1 : F 0 → [0, ∞] durch

µ ◦ f −1 (A) = µ f −1 (A) , A ∈ F 0,

(6.6.1)

wobei f −1 (A) wie immer das Urbild von A unter f bezeichnet.

Satz 6.6.1. (a) µ ◦ f −1 ist ein Maß. Falls µ ein Wahrscheinlichkeitsmaß ist, so auch µ ◦ f −1 .

(b) Für jede nichtnegative messbare numerische Funktion φ : Ω0 → [0, ∞] gilt

Z Z
−1
φ d(µ ◦ f ) = (φ ◦ f ) dµ. (6.6.2)
Ω0 Ω

(c) Für jede messbare Funktion φ : Ω0 → R gilt

φ ∈ L1 (Ω0 , F 0 , µ ◦ f −1 ) ⇐⇒ φ ◦ f ∈ L1 (Ω, F, µ),

und in diesem Fall gilt (6.6.2) ebenfalls.

Beweis. (a) folgt aus den allgemein gültigen Rechenregeln für die Abbildung f −1 : F 0 → F. Die
Aussage (b) für Indikatorfunktionen φ = 1lA mit A ∈ F 0 folgt direkt aus der Definition (6.6.1),
und die allgemeine Aussage (b) folgt mit einer maßtheoretischen Induktion, in der man eine
nichtnegative messbare Funktion monoton mit einfachen Funktionen approximiert. (c) ergibt sich
8
P Zum Beispiel ist 1l{ω} für jedes ω ∈ [0, 1] Riemann-integrierbar, aber nicht die abzählbare Summe 1lQ∩[0,1] =
ω∈Q∩[0,1] 1l{ω} .
80 KAPITEL 6. MASSTHEORIE

direkt aus einer Anwendung von (b) auf |φ|, und die Formel (6.6.2) für allgemeine integrierbare
Funktionen zeigt man leicht durch Zerlegung in Positiv- und Negativteil.

Definition 6.6.2 (Bildmaß). Das Maß µ ◦ f −1 heißt das durch f induzierte Maß oder das
Bildmaß von µ unter f . Es sind auch die Schreibweisen µf −1 und f (µ) gebräuchlich.

Falls das Bildmaß µ ◦ f −1 σ-endlich ist, so auch µ, aber die Umkehrung gilt im Allgemeinen
nicht (Übungsaufgabe).

Dichten

Nun kommt die nach Korollar 6.3.4 angekündigte starke Verallgemeinerung des Begriffs der
Dichte. Wir erinnern uns, dass B die Borel-σ-Algebra auf R bezeichnet.

Definition 6.6.3 (Dichten). Es seien µ und ν zwei Maße auf einem messbaren Raum (Ω, F).
Eine F-B-messbare Abbildung ϕ : Ω → [0, ∞) heißt eine Dichte von ν bezüglich µ, wenn ν(A) =
dν
R
A ϕ dµ für alle A ∈ F gilt. Wir schreiben dann auch ϕ = dµ und dν = ϕ dµ.

Wenn ϕ eine Dichte von ν bezüglich µ ist, dann ist jede messbare AbbildungR φ :RΩ → R
genau dann ν-integrierbar, wenn φϕ integrierbar bezüglich µ ist, und dann gilt φ dν = φϕ dµ,
was man genau wie im Beweis des Satzes 6.6.1 zeigt.

Lemma 6.6.4. Es seien µ und ν zwei Maße auf einem messbaren Raum (Ω, F). Falls eine
Dichte von ν bezüglich µ existiert, so ist sie eindeutig bis auf Gleichheit µ-f. ü.

Beweis. Seien ϕ1 und ϕ2 zwei Dichten von ν bezüglich µ. Wir betrachten die messbare Menge
A = {ϕ1 > ϕ2 } = {ω ∈ Ω : ϕ1 (ω) > ϕ2 (ω)}. Dann gilt
Z Z Z
1lA (ϕ1 − ϕ2 ) dµ = ϕ1 dµ − ϕ2 dµ = ν(A) − ν(A) = 0.
A A

Wegen 1lA (ϕ1 − ϕ2 ) ≥ 0 folgt mit Lemma 6.5.4(b), dass 1lA (ϕ1 − ϕ2 ) = 0 µ-f. ü., also ϕ1 ≤ ϕ2
µ-f. ü. Die komplementäre Ungleichung ϕ1 ≥ ϕ2 µ-f. ü. folgt analog.

Bemerkung 6.6.5 (Absolutstetigkeit). Wenn ν eine Dichte ϕ bezüglich µ hat, so sind alle
µ-Nullmengen auch ν-Nullmengen. Den letzteren Sachverhalt drücken wir auch aus mit der
Notation ν µ und sagen dass ν absolutstetig bezüglich µ sei. Der berühmte Satz von Radon-
Nikodym (siehe Satz 7.3.5) dreht die Aussage um: Falls ν und µ σ-endliche Maße sind mit ν µ,
so existiert eine Dichte von ν bezüglich µ. 3

Diskrete Maße (siehe Beispiel 6.1.10) haben keine Dichten bezüglich des Lebesgue-Maßes.
Ein Maß kann durchaus aus einem diskreten und einem absolutstetigen Anteil bestehen. Es
folgen die wichtigsten Beispiele mit Dichten:
6.7. DIE LP -RÄUME 81

Beispiel 6.6.6 (Lebesgue-Dichten). Wichtige Beispiele von Wahrscheinlichkeitsmaßen auf R

mit Lebesgue-Dichten sind die folgenden:

1 n (x − a)2 o
Normalverteilung N (a, σ 2 ) ϕa,σ2 (x) = √ exp − Parameter a ∈ R, σ > 0,
2πσ 2 2σ 2
Exponentialverteilung ϕα (x) = αe−αx 1l[0,∞) (x), Parameter α > 0,
c
Cauchy-Verteilung ϕc (x) = , Parameter c > 0.
π(c2 + x2 )
3

Beispiel 6.6.7 (mehrdimensionale Normalverteilung). Die Standardnormalverteilung N auf

dem messbaren Raum (Rn , Bn ) ist definiert als das Maß, das die Lebesgue-Dichte
n 1X n o
ϕ(x) = (2π)−n/2 exp − x2i , x = (x1 , . . . , xn ) ∈ Rn ,
2
i=1

besitzt. Jedes Bildmaß N ◦ f −1 mit einer affinen Abbildung f : Rn → Rn , d. h. f (x) = Ax + b

mit einer n × n-Matrix A und einem Vektor b ∈ Rn , heißt eine Normalverteilung. Dieses Maß
N ◦ f −1 besitzt genau dann eine Dichte, wenn A invertierbar ist, und zwar ist dann eine Dichte
gegeben durch

1 n 1 o
ϕb,Σ (x) = p exp − (x − b)T Σ−1 (x − b) , x ∈ Rn ,
(2π)n det Σ 2

wobei Σ = AAT . Falls nämlich A nicht invertierbar ist, ist das Bild f (Rn ) in einer affinen
Hyperebene enthalten, besitzt also das Maß Null unter λn , aber es gilt N ◦ f −1 (f (Rn )) = 1.
Also hat N ◦ f −1 keine Lebesgue-Dichte. Wenn andererseits A invertierbar ist, so ist auch
f : Rn → Rn bijektiv, und der Transformationssatz für lineare Transformationen unter dem
Lebesgue-Maß (der aus der Analysis bekannt sein sollte) impliziert die Aussage.
Daher schreibt man oft auch N (b, Σ) an Stelle von N ◦ f −1 , und dann ist N = N (0, I),
wobei I die n × n-Einheitsmatrix ist. 3

6.7 Die Lp -Räume

Es sei (Ω, F, µ) ein beliebiger Maßraum. In diesem Abschnitt führen wir die zur Potenz p ≥ 1
integrierbaren Funktionen ein und leiten ein paar wichtige Ungleichungen her.
Für eine messbare numerische Funktion f : Ω → R und p ∈ [1, ∞] definieren wir
( R 1
p dµ p ,
Ω |f | falls p < ∞,
kf kp =
sup{a ≥ 0 : µ(|f | ≥ a) > 0}, falls p = ∞,

und
Lp (Ω, F, µ) = Lp (µ) = {f : f ist messbar und numerisch mit kf kp < ∞}.
Dies ist offensichtlich eine Erweiterung der Definition von L1 . Man überlegt sich als Übungs-
aufgabe, dass kf k∞ = min{c ≥ 0 : |f | ≤ c µ-f.ü.}, d. h. kf k∞ = c gilt genau dann, wenn es
82 KAPITEL 6. MASSTHEORIE

eine Nullmenge N gibt mit supN c |f | = c, d. h. kf k∞ ist das Supremum von |f | außerhalb einer
µ-Nullmenge.
Eines unserer Ziele ist es, (Lp , k · kp ) als einen normierten Raum aufzufassen. Immerhin ist
k·kp positiv homogen (d. h. kαf kp = |α|kf kp für α ∈ R und f ∈ Lp (µ)), und in Satz 6.7.8 werden
wir die Gültigkeit der Dreiecksungleichung zeigen. Allerdings ist k · kp nicht definit, denn aus
Lemma 6.5.4 folgt: kf kp = 0 ⇐⇒ f = 0 µ-f. ü. Dies bringt uns auf die Idee, zu dem folgenden
Quotientenraum über zu gehen: Mit
N = {f ∈ Lp (µ) : f = 0 µ-fast überall}
definieren wir
Lp (Ω, F, µ) = Lp (µ) = Lp (Ω, F, µ)/N ,
also ist Lp (µ) die Menge aller Äquivalenzklassen von Lp (µ) bezüglich der Äquivalenzrelation
‘Gleichheit µ-fast überall’. Für eine Klasse [f ] ∈ Lp (µ) setzen wir k[f ]kp = kf kp , und wiederum
Lemma 6.5.4 sagt uns, dass diese Definition sinnvoll ist, d. h. nicht vom gewählten Vertreter f
abhängt.

Satz 6.7.1. Für jedes p ∈ [1, ∞] ist (Lp (µ), k · kp ) ein Banachraum. Im Spezialfall p = 2 ist
2
R
(L (µ), k · k2 ) ein Hilbertraum mit dem durch h[f ], [g]i = f g dµ definierten Skalarprodukt.

Den Beweis von Satz 6.7.1 werden wir nicht ausformulieren, insbesondere die Vollständigkeit
werden wir hier nicht beweisen (siehe dazu etwa [Ba91, Paragraph 15]). Die Dreiecksungleichung
für k · kp wird in Satz 6.7.8 bewiesen, und daraus folgen auch die Vektorraumeigenschaften. Dass
h·, ·i ein wohldefiniertes Skalarprodukt ist, das die Norm k·k2 induziert, zeigt man auf elementare
Weise.
Wir diskutieren nun die Jensen’sche Ungleichung, eine der wichtigsten Ungleichungen der
Wahrscheinlichkeitstheorie,
R und ein paar Anwendungen. Wir erinnern (siehe Bemerkung 6.5.2),
dass wir E(X) statt X dP schreiben, wenn P ein Wahrscheinlichkeitsmaß ist.

Satz 6.7.2 (Jensen’sche Ungleichung). Es sei (Ω, F, P) ein Wahrscheinlichkeitsraum, und es

sei X : Ω → R integrierbar. Ferner sei I ⊂ R ein Intervall und ϕ : I → R eine konvexe Funktion.
Es gelte P(X ∈
/ I) = 0. Dann gilt

E(ϕ ◦ X) ≥ ϕ E(X) .

Beweis. In dem Fall, dass E(X) im Innern von I liegt, gibt es eine Gerade unterhalb des Graphen
von ϕ, die durch den Punkt (E(X), ϕ(E(X))) geht und eine Steigung α hat:
ϕ(y) ≥ α(y − E(X)) + ϕ(E(X)), y ∈ I.
Nun ersetzen wir y durch X(ω) und integrieren über ω, um zu erhalten:
Z Z Z

E(ϕ ◦ X) = ϕ(X(ω)) P(dω) ≥ α (X(ω) − E(X)) P(dω) + ϕ(E(X)) P(dω) = ϕ E(X) .

Im anderen Fall, wo E(X) ein Randpunkt von I ist, gilt X = E(X) P-fast sicher, und die
Behauptung gilt trivialerweise.
6.7. DIE LP -RÄUME 83

Daraus sieht man leicht als Übungsaufgabe, dass für endliche Maßräume bei wachsendem p
die Lp - und die Lp -Räume absteigend in einander enthalten sind:

Korollar 6.7.3. Es sei (Ω, F, µ) ein endlicher Maßraum. Dann gelten für 1 ≤ p ≤ p0 ≤ ∞
0 0
die Inklusionen Lp (µ) ⊂ Lp (µ) und Lp (µ) ⊂ Lp (µ). Falls µ(Ω) = 1, so ist die Abbildung
[1, ∞] → [0, ∞], p 7→ kf kp für jede messbare numerische Funktion f monoton nichtfallend.

Bemerkung 6.7.4 (Entropien). Die relative Entropie eines Wahrscheinlichkeitsmaßes P bezüg-

lich eines Wahrscheinlichkeitsmaßes P
e definieren wir durch
Z
e = log dP dP,

H P|P
dP
e

falls die Dichte dPe existiert, und H(P | P)

e = ∞ sonst. Als eine einfache Übungsaufgabe wendet
dP
man die Jensen’sche Ungleichung auf die konvexe Abbildung x 7→ x log x an, um zu zeigen,
dass die Entropie nicht negativ ist. Außerdem ist leicht zu sehen, dass H(· | P)e eine konvexe
Abbildung ist. Entropien spielen wichtige Rollen in der Theorie der Großen Abweichungen, der
Informationstheorie und beim Umgang mit empirischen Maßen. 3

Eine weitere wichtige, berühmte Ungleichung ist die folgende, die wir nun als eine An-
wendung der Jensen’schen Ungleichung beweisen. Wie zu Beginn sei (Ω, F, µ) ein beliebiger
Maßraum.

1 1
Satz 6.7.5 (Hölder’sche Ungleichung). Es seien p, q ∈ [1, ∞] mit p + q = 1. Ferner seien
f ∈ Lp (µ) und g ∈ Lq (µ). Dann gelten f g ∈ L1 (µ) und

kf gk1 ≤ kf kp · kgkq .

Beweis. Der Fall p = ∞ ist sehr leicht; wir behandeln nur den Fall 1 < p < ∞. Wir dürfen
auch voraussetzen, dass f 6= 0 und g 6= 0. Wir betrachten die Funktionen fe = (|f |/kf kp )p und
ge = (|g|/kgkq )q . Dann gilt fedµ = ge dµ = 1, und P = fedµ ist ein Wahrscheinlichkeitsmaß.
R R

Ferner sieht man, dass

|f g|
Z Z Z
ge 1/q e h ge 1/q i
dµ = fe1/p ge1/q dµ = f dµ = E ,
kf kp kgkq fe fe

wobei wir E für den Erwartungswert bezüglich P geschrieben haben. (Man beachte auch, dass
der Quotient P-fast sicher wohldefiniert ist.) Nun benutzen wir die Konvexität der Abbildung
x 7→ xq und erhalten mit Hilfe der Jensen’schen Ungleichung:

|f g|
Z h ge 1/q i h ge i1/q Z 1/q
dµ = E ≤E = ge dµ = 1,
kf kp kgkq fe fe

also die Hölder’sche Ungleichung. (Genau genommen, dürfen wir die Jensen’sche Ungleichung
nur anwenden, wenn wir wissen, dass der Erwartungswert von (e g /fe)1/q endlich ist, aber indem
man den obigen Beweis zunächst nur für nichtnegative einfache Funktionen durchführt und dann
zu monotonen Grenzwerten übergeht, erhält man den allgemeinen Fall.)
84 KAPITEL 6. MASSTHEORIE

Bemerkung 6.7.6 (Momenten erzeugende Funktion I). Es sei µ ein Maß auf (R, B). Für t ∈ R
definieren wir M (t) = etx µ(dx) ∈ [0, ∞]. Man nennt M die Momenten erzeugende Funktion
R

von µ (dieser Name wird in Bemerkung 6.8.10 erhellt.) Es sei I = {t ∈ R : M (t) < ∞} nicht
leer. Man sieht leicht, dass I ein Intervall ist. Eine Anwendung der Hölder’schen Ungleichung
zeigt, dass die Abbildung log M konvex auf I ist. 3

Der symmetrische Spezialfall der Hölder-Ungleichung ist ebenfalls berühmt:

Korollar 6.7.7 (Cauchy-Schwarz-Ungleichung). Für je zwei Funktionen f, g ∈ L2 (µ) gelten

f g ∈ L1 (µ) und kf gk1 ≤ kf k2 · kgk2 .

Als eine Anwendung der Hölder’schen Ungleichung zeigen wir nun die Dreiecksungleichung
für k · kp :

Satz 6.7.8 (Minkowski-Ungleichung). Es sei p ∈ [1, ∞]. Dann gilt für alle f, g ∈ Lp (µ):

kf + gkp ≤ kf kp + kgkp .

Beweis. Die Fälle p = ∞ und p = 1 sind leicht bzw. schon bekannt, so dass wir nur den Fall
1 < p < ∞ behandeln. Die Dreiecksungleichung impliziert, dass kf + gkp ≤ k|f | + |g|kp , sodass
wir annehmen dürfen, dass f ≥ 0 und g ≥ 0. Wegen (f + g)p ≤ [2 max{f, g}]p ≤ 2p (f p + g p ) ist
schon klar, dass kf + gkp < ∞. Wir schreiben

Z Z Z
p p−1
(f + g) dµ = f (f + g) dµ + g(f + g)p−1 dµ

1 1
und wenden die Hölder’sche Ungleichung (mit einem q > 1, so dass p + q = 1) auf die beiden
Integrale an, um zu erhalten:

Z Z 1/q
p p−1 p−1

(f + g) dµ ≤ kf kp k(f + g) kq + kgkp k(f + g) kq = kf kp + kgkp (f + g)p dµ .

Elementare Umformungen lassen die Aussage folgen.

6.8 Die fundamentalen Konvergenzsätze

In diesem Abschnitt sei (Ω, F, µ) wieder ein gegebener Maßraum. Man stehtRoft vor dem Pro-
blem, einR Integral mit einem Grenzwert zu vertauschen, also eine Regel wie limn→∞ fn dµ =
limn→∞ fn dµ anzuwenden. Wir geben die zwei berühmten hinreichenden Kriterien, unter de-
nen man dies tun darf. Man beachte, dass die Voraussetzungen extrem schwach sind im Vergleich
etwa zum Riemann-Integralbegriff.
6.8. DIE FUNDAMENTALEN KONVERGENZSÄTZE 85

Satz 6.8.1 (Monotoner Konvergenzsatz). Sei (fn )n∈N eine Folge nichtnegativer, messbarer
numerischer Funktionen mit fn ↑ f µ-f. ü. für n → ∞. Dann gilt
Z Z
lim fn dµ = f dµ.
n→∞

R
Man beachte, dass wir nicht vorausgesetzt haben, dass f dµ endlich ist.
Beweis. Durch eine Modifikation auf Nullmengen (die nach Lemma 6.5.4(a) nichts an den
Werten der Integrale ändert) können wir annehmen, dassR fn (ω)R ↑ f (ω) sogar für alle ω ∈ Ω
gilt. Wegen der Monotonie des Integrals gilt natürlich fn dµR ≤ f dµ für jedes n ∈ N. Wegen
Monotonie der Folge (fn )n∈N existiert der RGrenzwert limn→∞ fn dµ in [0, ∞]. Wir müssen also
nur noch zeigen, dass er nicht kleiner als f dµ ist.
Wir wählen für jedes n ∈ N eine Folge (fn,m )m∈N nichtnegativer einfacher Funktionen mit
fn,m ↑ fn für m → ∞. Wir betrachten die einfache Funktion

gn,m = max{f1,m , . . . , fn,m }.

Es gilt auch gn,m ↑ fn für m → ∞ für jedes n ∈ N, denn die Monotonie in m ist klar, und es gilt
fn ≥ gn,m ≥ fn,m . Außerdem ist offensichtlich gn,m monoton in n, d. h. gn+1,m ≥ gn,m für alle
n, m. Daraus folgt sehr einfach, dass gn,n ↑ f für n → ∞. Damit ergibt sich
Z Z Z
f dµ = lim gn,n dµ ≤ lim fn dµ,
n→∞ n→∞

denn gn,n ≤ fn .
Eine Variante des Monotonen Konvergenzsatzes ist der folgende Satz (Beweis als Übungs-
aufgabe):

Korollar 6.8.2 (Satz von Beppo-Lévy).

R Sei (fn )n∈N eine Folge integrierbarer Funktionen mit
fn ↑ f µ-f. ü. für n → ∞ und supn∈N fn dµ < ∞. Dann ist auch f integrierbar, und es gilt
Z Z
lim fn dµ = f dµ.
n→∞

Weitere Folgerungen aus dem Satz von der monotonen Konvergenz:

Korollar 6.8.3. Für beliebige nichtnegative messbare Funktionen f1 , f2 , f3 , . . . gilt

Z X XZ
fn dµ = fn dµ.
n∈N n∈N

Insbesondere gilt für paarweise disjunkte messbare Mengen A1 , A2 , A3 , . . . und jede nichtnegative
messbare Funktion f : Z XZ
S f dµ = f dµ.
n∈N An n∈N An
86 KAPITEL 6. MASSTHEORIE

Satz 6.8.4 (Lemma von Fatou). Es sei (fn )n∈N eine beliebige Folge nichtnegativer messbarer
numerischer Funktionen. Dann gilt
Z Z
lim inf fn dµ ≤ lim inf fn dµ.
n→∞ n→∞

Beweis. Nach Definition des Limes Inferior konvergiert inf m : m≥n fm monoton steigend gegen
lim inf n→∞ fn . Nach dem Monotonen Konvergenzsatz gilt
Z Z Z Z
lim inf fn dµ = lim inf fm dµ ≤ lim inf fm dµ = lim inf fn dµ.
n→∞ n→∞ m : m≥n n→∞ m : m≥n n→∞

Bemerkung 6.8.5. Es ist leicht, Beispiele zu geben, in denen die Ungleichung im Lemma von
Fatou strikt ist. Etwa für (Ω, F, µ) = (R, B, λ) kann man ‘Zackenfunktionen’ wählen, deren
Graph die lineare Interpolation der Punkte (0, 0), ( n1 , n) und ( n2 , 0) ist. 3

Der wohl nützlichste und stärkste Satz über die Vertauschung von Grenzwert und Integral
ist der folgende.

Satz 6.8.6 (Satz von Lebesgue, Satz von der majorisierten Konvergenz). Es sei (fn )n∈N eine
Folge von µ-integrierbaren Funktionen. Es existiere eine nichtnegative Funktion g ∈ L1 (µ) mit
|fn (ω)| ≤ g(ω) für alle ω ∈ Ω und alle n ∈ N. Falls f (ω) = limn→∞ fn (ω) für µ-fast alle ω ∈ Ω
existiert, so gilt Z Z
lim fn dµ = f dµ.
n→∞

Beweis. Durch Änderung auf einer Nullmenge können wir erreichen, dass fn (ω) → f (ω) für
alle ω ∈ Ω gilt. Es gilt fn + g ≥ 0, und das Lemma von Fatou impliziert
Z Z Z Z Z Z
f dµ = (f + g) dµ − g dµ ≤ lim inf (fn + g) dµ − g dµ ≤ lim inf fn dµ.
n→∞ n→∞

Wenn
R wir den selben Trick
R auf g−fn ≥ 0 anwenden, erhalten wir die komplementäre Ungleichung
f dµ ≥ lim supn→∞ fn dµ.
Der Spezialfall eines diskreten Maßraums enthält aus der Analysis bekannte Sätze über
Doppelfolgen:

Bemerkung 6.8.7 (Zahlenfolgen). Es ist eine der Stärken der Maßtheorie, dass viele bekann-
te Sätze über reelle Zahlenfolgen einen Spezialfall darstellen. Wendet man zum Beispiel den
Satz Pvon Lebesgue auf das Zählmaß auf N an, also (Ω, F, µ) = (N, P(N), µ) mit dem Zählmaß
µ = n∈N δn (siehe Beispiel 6.1.10), dann erhält man das folgende Resultat. Zunächst muss
man sich damit vertraut machen, dass L1 (N, P(N), µ) nichts anderes ist als der bekannte Fol-
genraum `1 (N). Der Satz von Lebesgue besagt dann, dass für jede Doppelfolge (ai,n )i,n∈N , die
6.9. PRODUKTE MESSBARER RÄUME 87

die Bedingungen
ai = lim ai,n existiert für alle i ∈ N,
n→∞
X
|ai,n | ≤ bi ∀i, n ∈ N mit bi < ∞,
i∈N
P P
erfüllt, die Summation mit dem Grenzwert vertauschbar ist, d. h. limn→∞ i∈N ai,n = i∈N ai
gilt. 3

Wir ziehen noch zwei Folgerungen aus dem Satz von Lebesgue, deren Beweise Übungsauf-
gaben sind:
Korollar 6.8.8 (Stetigkeitslemma). Es sei f : Ω × R → R eine Funktion und x0 ∈ R, so dass
gelten:
(a) Für jedes x ∈ R ist f (·, x) ∈ L1 (µ),

(b) für fast alle ω ∈ Ω ist f (ω, ·) stetig in x0 ,

(c) es gibt eine Umgebung U von x0 , so dass die Abbildung supx∈U |f (·, x)| in L1 (µ) liegt.
R
Dann ist die Abbildung f (ω, ·) µ(dω) stetig in x0 .
Korollar 6.8.9 (Differenziationslemma). Es sei I ⊂ R ein nichttriviales Intervall und f : Ω ×
I → R eine Abbildung, so dass gelten:
(a) Für jedes x ∈ I ist f (·, x) ∈ L1 (µ),

(b) für fast alle ω ∈ Ω ist f (ω, ·) differenzierbar (wir bezeichnen die Ableitung mit f 0 ),

(c) die Abbildung supx∈I |f 0 (·, x)| liegt im L1 (µ).

Dann liegt f 0 (·, x) für jedesR x ∈ I in L1 (µ), und die Funktion F (x) =
R
f (ω, x) µ(dω) ist
differenzierbar mit F 0 (x) = f 0 (ω, x) µ(dω).
Bemerkung 6.8.10 (Momenten R erzeugende Funktion II). Wir betrachten wieder die Momenten
tx
erzeugende Funktion M (t) = e µ(dx) eines Maßes µ auf (R, B) wie in Bemerkung 6.7.6.
Man sieht leicht, dass der Definitionsbereich I = {t ∈ R : M (t) < ∞} ein Intervall ist. Als
eine Anwendung des Differenziationslemmas sieht man, dass M im Innern von I beliebig oft
differenzierbar ist mit M (t) = xR e µ(dx) für jedes k ∈ N0 und t ∈ I ◦ . Wenn insbesondere
(k)
R k tx

0 ∈ I ◦ , so existieren alle Momente xk µ(dx), k ∈ N0 , von µ. Mit Hilfe der zweiten Ableitung
und der Jensen’schen Ungleichung erhält man als Übungsaufgabe insbesondere einen zweiten
Beweis für die Konvexität der Abbildung log M , siehe Bemerkung 6.7.6. 3

6.9 Produkte messbarer Räume

In der Wahrscheinlichkeitstheorie möchte man auch gerne ganze Tupel oder gar unendliche Fol-
gen von zufälligen Experimenten (sogenannte stochastische Prozesse) behandeln und in die allge-
meine Maßtheorie einbetten. Das natürlichste mathematische Konstrukt hierfür ist das Produkt
der einzelnen Mengen, die die einzelnen Experimente beschreiben. In diesem Abschnitt führen
wir die natürlichste σ-Algebra auf diesem Produkt ein, und zwar die kleinste, die es zulässt,
dass die einzelnen Experimente in dem Produktraum genauso gut beschrieben werden können
wie für sich alleine.
88 KAPITEL 6. MASSTHEORIE

Es sei I eine beliebige Indexmenge, und für jedes i ∈ I sei (Ei , Ei ) ein messbarer Raum.
Zur besseren Anschauung stelle man sich I = N vor, Q aber das Folgende ist nicht beschränkt auf
abzählbare Indexmengen. Auf der Produktmenge i∈I Ei wollen wir eine natürliche σ-Algebra
definieren. Dazu betrachten wir die Mengen der Form
n Y o
A(j) (Aj ) = (xi )i∈I ∈ Ei : xj ∈ Aj mit Aj ∈ Ej , j ∈ I. (6.9.1)
i∈I

In Worten: A(j) (Aj ) ist die Menge derjenigen Elemente im Produktraum, deren j-te Komponente
eine Bedingung erfüllt, nämlich dass sie in Aj liegt. Diese Mengen wählen wir als Erzeuger der
gesuchten σ-Algebra:

Q
Definition 6.9.1 (Produkt-σ-Algebra). Die σ-Algebra auf dem Produkt i∈I Ei , die von Q den
Mengen A(j) (AN j ) mit A j ∈ Ej und j ∈ I erzeugt wird, heißt die
Q Produkt-σ-Algebra
N auf i∈I Ei
und wird mit i∈I Ei bezeichnet. Den messbaren Raum ( i∈I Ei , i∈I Ei ) nennt man den
Produktraum der (Ei , Ei ). Falls alle (Ei , Ei ) gleich sind, also (Ei , Ei ) = (E, E), so schreibt man
auch (E I , E ⊗I ) für den Produktraum. Im Fall I = {1, . . . , n} schreiben wir auch E ⊗n statt E ⊗I .

Bemerkung 6.9.2. Die Produkt-σ-Algebra ist die kleinste σ-Algebra auf dem Produkt, so dass
die Projektionen Y
πj : Ei → Ej , πj (xi )i∈I = xj ,
i∈I

messbar sind. Für die Mengen in (6.9.1) gilt A(j) (Aj ) = πj−1 (Aj ). Also haben wir auch auch
−1
3
N W W
i∈I Ei = i∈I πi (Ei ) = i∈I σ(πi ); siehe Bemerkung 6.4.2.

Bemerkung 6.9.3 (durchschnittstabile Erzeuger des Produktraums). Die Mengen der Form
(6.9.1) bilden kein durchschnittstabiles Erzeugendensystem. Insbesondere ist der Eindeutigkeits-
satz (Satz 6.2.8) nicht auf dieses System anwendbar. Daher benutzt man oft lieber das Erzeu-
gendensystem, das aus den endlichen Durchschnitten von Mengen der Form (6.9.1) besteht.
Genauer: Für eine endliche Teilmenge J von I und Mengen Aj ∈ Ej für j ∈ J setzen wir
\
A(J) ((Aj )j∈J ) = A(j) (Aj ) = {(xi )i∈I : xj ∈ Aj für alle j ∈ J}. (6.9.2)
j∈J

Das Mengensystem D aller solcher A(J) ((AjQ

)j∈J ) ist offensichtlich ein durchschnittstabiles Erzeu-
gendensystem der Produkt-σ-Algebra auf i∈I Ei . Die Mengen A(J) ((Aj )j∈J ) nennt man auch
endlichdimensionale Zylinder. Auf D kann man Satz 6.2.8 problemlos anwenden. Im Spezialfall
von Folgenräumen (also I = N0 ) und J = {0, 1, . . . , n} hat A(J) die Gestalt
∞
Y
(J)
A ((Aj )j∈J ) = A0 × A1 × · · · × An × Ei .
i=n+1

Beispiel 6.9.4. Als eine Übungsaufgabe mache man sich klar, dass die Borel-σ-Algebra Bn
auf Rn gleich dem n-fachen Produkt der Borel-σ-Algebra B auf R ist, also Bn = B ⊗n (siehe
Beispiel 6.1.5). 3
6.10. PRODUKTMASSE 89

Beispiel 6.9.5 (Unendliche Folgenräume). Für die mathematische Modellierung eines unend-
lich oft wiederholten Versuchs benötigt man eine geeignete σ-Algebra auf dem unendlichen
Folgenraum E N , wobei (E, E) ein gegebener messbarer Raum ist, der einen einzelnen Ver-
such beschreibt. Eines der einfachsten und meist bemühten Beispiele ist der Münzwurf, wo
man E = {K, Z} setzt und die Potenzmenge E = P({K, Z}) wählt. Die Produkt-σ-Algebra
(P({K, Z}))⊗N besitzt das durchschnittstabile Erzeugendensystem, das aus den Zylindermen-
gen{(xn )n∈N : x1 ∈ A1 , . . . , xm ∈ Am } mit m ∈ N und A1 , . . . , Am ∈ P({K, Z}) besteht. Diese
Mengen legen Bedingungen fest, die die ersten m Komponenten der betrachteten Folge betreffen.
Ein Maß auf dem Produktraum ({K, Z}N , (P({K, Z}))⊗N ) ist eindeutig festgelegt, wenn es auf
allen diesen Zylindermengen festgelegt ist.
Man beachte, dass z. B. die Mengen ‘Fast alle Würfe zeigen Kopf’ oder ‘Unendliche viele
Würfe sind Kopf’ in der Produkt-σ-Algebra enthalten sind, denn es gilt z. B.
[ \
(xn )n∈N ∈ {K, Z}N : xn = K für fast alle n ∈ N = (xn )n∈N : xN = K ,
M ∈N N ∈N : N ≥M

und die Menge auf der rechten Seite ist messbar als abzählbare Vereinigung eines abzählbaren
Schnitts des Urbilds von {K} unter der Projektion πN .
Die Produkt-σ-Algebra (P({K, Z}))⊗N ist tatsächlich echt kleiner als die Menge P({K, Z}N )
aller Teilmengen des Folgenraums. Dies ist nicht leicht einzusehen, man muss das Beispiel von
Vitali (siehe Beispiel 6.1.11) geeignet modifizieren. Man kann zeigen, dass die Produkt-σ-Algebra
von der Mächtigkeit des Kontinuums ist, d. h. dass es eine bijektive Abbildung (P({K, Z}))⊗N →
R gibt, während die Potenzmenge P({K, Z}N ) von der Mächtigkeit von P(R) ist. 3

Beispiel 6.9.6 (Räume reeller Zahlenfolgen). Die Produkt-σ-Algebra B ⊗N auf der Menge aller
Zahlenfolgen RN enthält unter Anderem auch die Menge aller beschränkten Folgen, die Menge
aller Nullfolgen und die Menge aller konvergenten Folgen (Übungsaufgaben). Die Messbarkeit
der Menge aller beschränkten Folgen sieht man so:
[ \
−1

(xn )n∈N ∈ RN : ∃M ∈ N ∀N ∈ N : |xN | ≤ M = πN ([−M, M ]),
M ∈N N ∈N

und die Menge auf der rechten Seite ist eine abzählbare Vereinigung eines abzählbares Schnittes
von Urbildern messbarer Mengen unter Projektionen. 3

6.10 Produktmaße
Auf der Produkt-σ-Algebra möchten wir nun auch Maße definieren, die in geeignetem Sinn als
das Produkt von Maßen auf den einzelnen Faktoren aufgefasst werden können. Dies tun wir
in diesem Abschnitt für nur endliche viele Faktoren, genauer gesagt, zunächst nur für zwei.9
Es seien also zwei messbare Räume (Ω1 , F1 ) und (Ω2 , F2 ) gegeben. Wir erinnern uns, dass die
Produkt-σ-Algebra F1 ⊗ F2 auf Ω1 × Ω2 durch das durchschnittstabile Mengensystem

C = {A1 × A2 : A1 ∈ F1 , A2 ∈ F2 } (6.10.1)
9
Siehe Abschnitt 10 für abzählbar unendlich viele Faktoren. Dort ist das Hauptmittel der Satz von Ca-
rathéodory, hier konstruieren wir auf elementare Weise.
90 KAPITEL 6. MASSTHEORIE

erzeugt wird. Für Mengen A ⊂ Ω1 × Ω2 nennen wir die Mengen

A(2)
ω2 = {ω1 ∈ Ω1 : (ω1 , ω2 ) ∈ A}, ω2 ∈ Ω2 ,
(1)
A ω1 = {ω2 ∈ Ω1 : (ω1 , ω2 ) ∈ A}, ω1 ∈ Ω1 ,

die Schnitte von A. Allgemeiner nennen wir für eine Abbildung f : Ω1 × Ω2 → R die beiden
Abbildungen fω(2)2 (·) = f (·, ω2 ) und fω(1)1 (·) = f (ω1 , ·) die Schnitte von f . Man sieht leicht, dass
1lA(2) = (1lA )(2) (1)
ω2 und eine analoge Formel für Aω1 gelten.
ω2

Satz 6.10.1. Ist f : Ω1 ×Ω2 → R eine messbare Funktion, so sind alle Schnitte messbar bezüglich
der jeweiligen σ-Algebra, d. h. für jedes ω2 ∈ Ω2 ist fω(2)2 F1 -messbar, und für jedes ω1 ∈ Ω1 ist
fω(1)1 F2 -messbar.

Beweis. Wir zeigen nur die erste Aussage, und zwar zunächst nur für alle Funktionen der Form
f = 1lA mit A ∈ F1 ⊗ F2 . (Der Rest des Beweises folgt dann wie gewohnt etwa mit Hilfe von
Satz 6.4.11.) Betrachten wir das Mengensystem

G = {A ∈ F1 ⊗ F2 : A(2)
ω2 ∈ F1 für alle ω2 ∈ Ω2 }.

Wir möchten gerne zeigen, dass G = F1 ⊗ F2 , denn das beendet den Beweis. Zunächst sehen
wir, dass C ⊂ G (siehe (6.10.1)), denn
(
(2)
A1 , falls ω2 ∈ A2 ,
(A1 × A2 )ω2 = (6.10.2)
∅ sonst.

Wegen (Ac )(2) (2) c (2) (2)

S S
ω2 = (Aω2 ) für alle A ⊂ Ω1 × Ω2 und ( n∈N Bn )ω2 = n∈N (Bn )ω2 für alle Folgen
von Mengen B1 , B2 , B3 , · · · ⊂ Ω1 × Ω2 ist G eine σ-Algebra. Also gilt G = F1 ⊗ F2 .
Nun können wir Produktmaße auf (Ω1 × Ω2 , F1 ⊗ F2 ) definieren. Dazu legen wir einen
Kandidaten zunächst auf dem durchschnittstabilen Erzeugendensystem C aus (6.10.1) mit einer
offensichtlichen Formel fest und erweitern ihn dann auf die Produkt-σ-Algebra:

Satz 6.10.2 (Produktmaße). Seien (Ω1 , F1 , µ1 ) und (Ω2 , F2 , µ2 ) zwei σ-endliche Maßräume.
Dann gibt es genau ein Maß µ auf dem Produktraum (Ω1 × Ω2 , F1 ⊗ F2 ), so dass µ(A1 × A2 ) =
µ1 (A1 )µ2 (A2 ) für alle A1 ∈ F1 und A2 ∈ F2 gilt. Das Maß µ heißt das Produktmaß von µ1
und µ2 und wird mit µ = µ1 ⊗ µ2 bezeichnet.

Bemerkung 6.10.3 (Produkte unendlich vieler Maße). Das Produktmaß µ = ⊗i∈I µi von
unendlich vielen Maßen µi mit i ∈ I wird analog definiert (wenn es existiert) durch die Forderung
Y
µ A(J) ((Aj )j∈J ) = µi (Ai ), J ⊂ I endlich, Ai ∈ Ei für i ∈ J;
i∈J

siehe (6.9.2). Die Existenz von µ werden wir in Abschnitt 10 mit Hilfe des Satzes 6.2.7 von Ca-
rathéodory zumindest im abzählbaren Fall unter gewissen weiteren Einschränkungen beweisen;
siehe den Satz 10.1.14 von Ionescu Tulcea. Hier geben wir hier einen konstruktiven expliziten
Beweis für endliche Produkte. 3
6.10. PRODUKTMASSE 91

Beweis von Satz 6.10.2. Die Eindeutigkeit ergibt sich sofort aus dem Eindeutigkeitssatz 6.2.8.
Die Existenz zeigen wir nun konstruktiv mit Hilfe von Satz 6.10.1: Sei A ∈ F1 ⊗ F2 . Nach
Satz 6.10.1 ist A(2) (2)
ω2 ∈ F1 für alle ω2 ∈ Ω2 , also dürfen wir µ1 (Aω2 ) bilden. Nun zeigen wir, dass
(2)
die Abbildung ω2 7→ µ1 (Aω2 ) eine F2 -messbare numerische Funktion ist. Da µ1 σ-endlich ist,
gibt es eine Folge (Bn )n∈N von messbaren Teilmengen von Ω1 mit Bn ↑ Ω1 und µ1 (Bn ) < ∞ für
jedes n ∈ N. Wegen µ1 (A(2) (2)
ω2 ) = limn→∞ µ1 (Aω2 ∩ Bn ) genügt es daher zu zeigen, dass für jedes
n ∈ N die Abbildung ω2 7→ µ1 (A(2) ω2 ∩ Bn ) eine F2 -messbare Funktion ist. Man kann elementar
zeigen, dass das Mengensystem
{A ∈ F1 ⊗ F2 : ω2 7→ µ1 (A(2)
ω2 ∩ Bn ) ist F2 -messbar}
ein Dynkin-System ist, das C enthält. Also ist es gleich F1 ⊗ F2 . Insgesamt haben wir also die
Messbarkeit der Abbildung ω2 →7 µ1 (A(2)
ω2 ) gezeigt.
Nun können wir definieren:
Z
µ(A) = µ1 (A(2)
ω2 ) µ2 (dω2 ), A ∈ F1 ⊗ F2 .
Ω2
Eine Anwendung von Korollar 6.8.3 zeigt, dass µ ein Maß ist. Und mit Hilfe von (6.10.2) sieht
man leicht, dass µ auf C die gewünschte Gestalt besitzt.
Um problemlos bezüglich µ1 ⊗ µ2 integrieren zu können, brauchen wir noch zwei Vertau-
schungssätze. Es seien (Ω1 , F1 , µ1 ) und (Ω2 , F2 , µ2 ) zwei σ-endliche Maßräume.
Satz 6.10.4 (Satz von Tonelli). EsR sei f : Ω1 ×Ω2 → [0,R ∞] eine messbare numerische Funktion.
Dann sind die Abbildungen ω1 7→ fω(1)1 dµ2 und ω2 7→ fω(2)2 dµ1 messbar, und es gilt
Z Z Z Z Z
(1)
f d(µ1 ⊗ µ2 ) = fω1 (ω2 ) µ2 (dω2 ) µ1 (dω1 ) = fω(2)2 (ω1 ) µ1 (dω1 ) µ2 (dω2 ).
Ω1 Ω2 Ω2 Ω1

Beweis. Diese Aussage ist nach Konstruktion richtig für alle Funktionen der Form f = 1lA mit
A ∈ F1 ⊗ F2 . Die allgemeine Aussage folgt wie gewohnt mit Hilfe von Satz 6.4.11.
Mit Hilfe der üblichen Zerlegung in Positiv- und Negativteil erweitert man den Satz von
Tonelli leicht auf alle integrierbare Funktionen Ω1 × Ω2 → R und erhält den berühmten Satz
von Fubini, der vereinfacht sich so ausdrücken lässt: Falls f ∈ L1 (µ1 ⊗ µ2 ), so kann man die
Integrationsreihenfolge vertauschen:
Z Z Z Z Z
f d(µ1 ⊗ µ2 ) = f (ω1 , ω2 ) µ1 (dω1 ) µ2 (dω2 ) = f (ω1 , ω2 ) µ2 (dω2 ) µ1 (dω1 ).

Satz 6.10.5 (Satz von Fubini). Sei f ∈ L1 (Ω1 × Ω2 , F1 ⊗ F2 , µ1 ⊗ µ2 ). Dann liegt für µ1 -fast
alle ω1 ∈ Ω1 die Funktion fω(1)1 in L1 (Ω2 , F2 , µ2 ), und für µ2 -fast alle ω2 ∈ Ω2 liegt die Funktion
fω(2)2 in L1 (Ω1 , F1 , µ1 ). Setzt man
(R
Ω fω(1)1 (ω2 ) µ2 (dω2 ), falls fω(1)1 ∈ L1 ,
f1 (ω1 ) = 2
0 sonst,

und f2 (ω2 ) analog, so gilt

Z Z Z
f d(µ1 ⊗ µ2 ) = f1 (ω1 ) µ1 (dω1 ) = f2 (ω2 ) µ2 (dω2 ).
92 KAPITEL 6. MASSTHEORIE

Bemerkung 6.10.6 (endlich viele Faktoren). Die obigen Betrachtungen können problemlos
auf endlich viele Faktoren ausgedehnt werden, wobei man sich klar machen muss, dass die
Produkte beliebig umgeklammert werden dürfen. Wenn also (Ωi , Fi , µi ) für jedes
Nn i ∈ {1, . . . , n}
ein
Q σ-endlicher Maßraum ist, so definiert man rekursiv denQProduktraum i=1 (Ωi , Fi , µi ) =
( ni=1 Ωi , ni=1 Fi , ni=1 µi ) und meint damit das Produkt ni=1 Ωi = (. . . ((Ω1 × Ω2 ) × Ω3 ) ×
N N
· · · × Ωn ) und analoge Formeln für die Produkte der σ-Algebren und die der Maße. Es ist
dann klar, dass ni=1 Ωi = (Ω1 × · · · × Ωk ) × (Ωk+1 × · · · × Ωn ) für jedes k ∈ {1, . . . , n} gilt
Q
und analoge Formeln für die Produkte der σ-Algebren und die der Maße. Falls alle Faktoren
(Ωi , Fi , µi ) = (Ω, F, µ) übereinstimmen, schreiben wir natürlich Ωn sowie F ⊗n und µ⊗n oder
auch ΩI sowie F ⊗I und µ⊗I , falls I = {1, . . . , n}. 3

Beispiel 6.10.7 (n-dimensionales Lebesgue-Maß). Im wichtigen Spezialfall, wo (siehe Bei-

spiel 6.1.5) (Ωi , Fi , µi ) = (R, B, λ) für i ∈ {1, . . . , n}, identifizieren wir das n-fache Produkt mit
(Rn , Bn , λ⊗n ) (siehe auch Beispiel 6.9.4) und führen das Lebesgue-Maß auf dem Rn ein als das
n-fache Produkt des eindimensionalen Lebesgue-Maßes. Es ist klar, dass λQ ⊗n übereinstimmt

mit den eindeutig bestimmten Maß λn Q auf Bn , das jedem Quader Q = ni=1 [ai , bi ] seinen
elementargeometrischen Inhalt λn (Q) = ni=1 (bi − ai ) zuweist. 3

Beispiel 6.10.8 (Bernoulli-Maß). Für eine endliche Menge I heißt das Maß (pδ1 + (1 − p)δ0 )⊗I
auf {0, 1}I mit der Potenzmenge (siehe Beispiel 6.1.10) das Bernoulli-Maß zum Parameter
p ∈ (0, 1). Es beschreibt eine endliche Folge von unabhängigen Versuchen, die jeweils mit Wahr-
scheinlichkeit p Erfolg haben und sonst nicht.
Wenn zum Beispiel I die Menge aller Kanten zwischen benachbarten Punkten in dem Git-
ter Zd ∩ [−n, n]d bezeichnet, dann kann (pδ1 + (1 − p)δ0 )⊗I als ein stochastisches Modell für
einen porösen Stein dienen, den man sich als in regelmäßige Kammern unterteilt vorstellt, die
jeweils mit ihrer Nachbarkammer verbunden sind durch eine Wand, die mit Wahrscheinlichkeit
p durchlässig ist und sonst nicht. Dies ist der Ausgangspunkt des Forschungszweiges der Perko-
lation, die untersucht, ob solche auf zufällige Weise poröse Steine eine Flüssigkeit durchsickern
lassen oder nicht. Am interessantesten wird diese Frage natürlich, wenn wir statt eine endliche
Box Zd ∩ [−n, n]d den gesamten Raum Zd betrachten, aber unendliche Produktmaße werden wir
erst später im Zusammenhang mit dem Satz von Ionescu Tulcea behandeln. 3
Kapitel 7

Die allgemeine
Wahrscheinlichkeitstheorie

In diesem Kapitel wenden wir uns der allgemeinen Wahrscheinlichkeitstheorie auf Basis der so-
eben vorgestellten Maßtheorie zu. Wir werden Grundlagen vorstellen, die unverzichtbar sind für
die tiefere Beschäftigung mit der Wahrscheinlichkeitstheorie. Zu Beginn dieses Kapitels stellen
wir den Jargon der Theorie vor und sammeln die wichtigsten Werkzeuge, dann behandeln wir die
Unabhängigkeit von Ereignissen und von Zufallsgrößen, und zum Schluss führen wir bedingte
Erwartungswerte in großer Allgemeinheit ein.

7.1 Grundlegende Begriffe

Es sei (Ω, F, P) ein Wahrscheinlichkeitsraum, also ein Maßraum mit P(Ω) = 1. In diesem Spe-
zialfall eines Maßraums haben sich etliche spezielle Sprechweisen eingebürgert. So nennt man P
auch eine Verteilung, die Elemente der σ-Algebra F werden meist Ereignisse genannt und P(A)
die Wahrscheinlichkeit des Ereignisses A ∈ F. Das Komplement Ac steht für ‘A tritt nicht ein’,
und die Vereinigung A ∪ B für ‘A oder B trifft ein’, der Schnitt A ∩ B für ‘A und B treffen ein’.
Für einen messbaren Raum (E, E) werden messbare Abbildungen Ω → E E-wertige Zu-
fallsgrößen genannt, im Falle (E, E) = (R, B) einfach nur Zufallsgrößen und im Falle (E, E) =
(Rn , Bn ) Zufallsvektoren. Wir werden Zufallsgrößen nun meist mit X und Y usw. bezeichnen
statt mit f und g usw. Auf Grund von Bemerkung 6.9.4 sind Abbildungen X1 , . . . , Xn : Ω → R
genau dann Zufallsgrößen, wenn die vektorwertige Abbildung X = (X1 , . . . , Xn ) : Ω → Rn ein
Zufallsvektor ist. Die von einer Zufallsgröße X : Ω → E erzeugte σ-Algebra wird wie zuvor mit

X −1 (E) = {X −1 (A) : A ∈ E} = σ(X)

bezeichnet. Falls für jedes i aus einer Indexmenge I eine Zufallsgröße Xi : Ω → Ei in einen
messbaren Raum (Ei , Ei ) definiert ist, so heißt
_ [
Xi−1 (Ei ) = σ Xi−1 (Ei )
i∈I i∈I

die von den Xi auf Ω erzeugte σ-Algebra. Dies ist die kleinste Teil-σ-Algebra von F, so dass
jedes Xi messbar ist.

93
94 KAPITEL 7. DIE ALLGEMEINE WAHRSCHEINLICHKEITSTHEORIE

Die Verteilung einer Zufallsgröße X : Ω → E ist per definitionem das Bildmaß P ◦ X −1

auf (E, E) (siehe Abschnitt 6.6). Es ordnet jedem A ∈ E die Wahrscheinlichkeit P ◦ X −1 (A) =
P(X ∈ A) des Ereignisses {X ∈ A} zu. Man schreibt auch manchmal L(X) statt P ◦ X −1 , wenn
man den Raum (Ω, F, P) nicht betonen oder gar nicht erst erwähnen möchte. Man beachte,
dass zwei (E, E)-wertige Zufallsgrößen X und Y nicht auf dem selben Wahrscheinlichkeitsraum
definiert sein müssen, um die selbe Verteilung zu haben. Für R-wertige Zufallsgrößen X nennt
man die Abbildung t 7→ P(X ≤ t) die Verteilungsfunktion von X. Sie ist monoton steigend und
rechtsstetig mit Grenzwerten 0 und 1 bei −∞ bzw. ∞.
R
Für eine integrierbare Zufallsgröße X : Ω → R schreibt man E(X) statt Ω X(ω) P(dω)
und nennt E(X) den Erwartungswert von X. Der Erwartungswert von X existiert also genau
dann, wenn E(|X|) < ∞. Für eine (E, E)-wertige Zufallsgröße X und eine messbare Funktion
f : E → R liegt f (X) (dies schreiben wir meist statt f ◦R X) genau dann im L1 (Ω, F, P), wenn
f im L1 (E, E, P ◦ X −1 ) liegt, und dann gilt E(f (X)) = E f dP ◦ X −1 . Der Erwartungswert ist
eine monotone und lineare Abbildung, d. h. für Zufallsgrößen X und Y ∈ L1 (P) gilt X ≤ Y =⇒
E(X) ≤ E(Y ), und für a, b ∈ R ist auch aX + bY ∈ L1 (P), und E(aX + bY ) = aE(X) + bE(Y ).
Die beiden Spezialfälle, dass (1) X diskret ist und (2) X eine Dichte besitzt, führen auf
folgende Formeln. Falls die reellwertige Zufallsgröße X nur die Werte x1 , x2 , x3 , · · · ∈ R mit
positiver Wahrscheinlichkeit annimmt und auf {xn : n ∈ N} konzentriert ist1 , so ist also P◦X −1 =
P
n∈N P(X = xn )δxn , und wir haben für jede Abbildung f : R → R:
X
E(f (X)) = f (xn ) P(X = xn ),
n∈N

falls diese Reihe absolut

R konvergiert. Falls X eine (Lebesgue-)Dichte ϕ : R → [0, ∞) besitzt, also
wenn P(X ∈ A) = A ϕ(x) λ(dx) für alle messbaren Mengen A ∈ B gilt, so gilt für jede messbare
Abbildung f : R → R: Z
E(f (X)) = f (x)ϕ(x) λ(dx),
R
falls das Integral absolut konvergiert.
Eine wichtige Maßzahl einer Zufallsgröße X ∈ L1 (P), die ihre mittlere quadratische Abwei-
chung von ihrem Erwartungswert angibt, ist die Varianz , die definiert wird als
V(X) = E (X − E(X))2 = E(X 2 ) − E(X)2 ∈ [0, ∞].

(Die zweite Gleichung nennt man die Steiner’sche Formel.) Die Varianz von X ∈ L1 (P) ist also
immer definiert, könnte aber gleich ∞ sein. Sie ist genau dann endlich, wenn X ∈ L2 (P), und
sie ist genau dann Null, wenn X = E(X) P-fast sicher.
Wir erinnern in Kurzform an die wichtigsten Ungleichungen, spezialisiert auf einen Wahr-
scheinlichkeitsraum:

Jensen: ϕ konvex =⇒ E(ϕ(X)) ≥ ϕ(E(X)),

siehe Satz 6.7.2,

1 1
Hölder: + =1 =⇒ E(XY ) ≤ E(X p )1/p E(Y q )1/q ,
p q

1
Wir sagen, dass eine Zufallsgröße X auf einer messbaren Menge A konzentriert ist, falls P(X ∈ A) = 1.
7.1. GRUNDLEGENDE BEGRIFFE 95

siehe Satz 6.7.5,

Cauchy-Schwarz: E(XY ) ≤ E(X 2 )1/2 E(Y 2 )1/2 ,

siehe Korollar 3.5.6,

E(ϕ(|X|))
Markov: ϕ : (0, ∞) → (0, ∞) wachsend, ε > 0 =⇒ P(|X| > ε) ≤ ,
ϕ(ε)

siehe Satz 5.1.1,

V(X)
Tschebyscheff: ε>0 =⇒ P(|X − E(X)| ≥ ε) ≤ ,
ε2

siehe Korollar 5.1.2.

Mit Hilfe der Tschebyscheff-Ungleichung kann man leicht einen der wichtigsten Grenz-
wertsätze der Wahrscheinlichkeitstheorie herleiten:

Satz 7.1.1 (Schwaches Gesetz der Großen Zahlen). X1 , . . . , Xn ∈ L1 paarweise unkorreliert,

E(Xi ) = E, V(Xi ) = V < ∞, dann gilt

lim P(| n1 (X1 + · · · + Xn ) − E| > ε) = 0, ε > 0.

n→∞

Den Konvergenztyp in Satz 7.1.1 nennt man die Konvergenz in Wahrscheinlichkeit, siehe
auch Abschnitt 8.1.
Ferner erinnern wir kurz an die wichtigen Vertauschungssätze für Grenzwerte und Integrale,
die wir hier auf einen Wahrscheinlichkeitsraum einschränken:

Monotoner Konvergenzsatz: 0 ≤ Xn ↑ X f.s. =⇒ lim E(Xn ) = E(X),

n→∞

siehe Satz 6.8.1,

Satz von Lebesgue: |Xn | ≤ Y ∈ L1 , Xn → X f.s. =⇒ lim E(Xn ) = E(X),

n→∞

siehe Satz 6.8.6,

Lemma von Fatou: 0 ≤ Xn =⇒ lim inf E(Xn ) ≥ E lim inf Xn ,
n→∞ n→∞

siehe Satz 6.8.4.

Den Erwartungswert eines Zufallsvektors X = (X1 , . . . , Xn ) definiert man komponentenwei-
se, also
E (X1 , . . . , Xn ) = E(X1 ), . . . , E(Xn ) .
96 KAPITEL 7. DIE ALLGEMEINE WAHRSCHEINLICHKEITSTHEORIE

Definition 7.1.2 (Kovarianz). (a) Die Kovarianz zweier Zufallsgrößen X und Y ∈ L1 (P) mit
XY ∈ L1 (P) wird definiert durch

cov(X, Y ) = E(XY ) − E(X)E(Y ) = E (X − E(X))(Y − E(Y ) .

(b) Die Kovarianzmatrix eines Zufallsvektors X = (X1 , . . . , Xn ) mit Xi ∈ L1 (P) und Xi Xj ∈

L1 (P) für alle i, j ∈ {1, . . . , n} ist definiert als die Matrix Σ(X) = (σi,j (X))i,j∈{1,...,n} mit
σi,j (X) = cov(Xi , Xj ).

Falls der Zufallsvektor X als Spalte geschrieben wird, so ist Σ(X) = E (X − E(X))(X −
E(X))T , wobei y T der transponierte Vektor ist. Als Übungsaufgabe sieht man leicht ein,
dass Σ(X) symmetrisch und positiv semidefinit ist. Die Kovarianz zweier eindimensionaler Zu-
fallsgrößen X und Y ist definiert, sobald X, Y ∈ L2 (P), wie leicht aus der Cauchy-Schwarz-
Ungleichung folgt. Wenn die Koeffizienten X1 , . . . , Xn von X paarweise
Pn unkorreliert
Pn sind, ist
Σ(X) eine Diagonalmatrix, und man errechnet leicht, dass dann gilt: V( i=1 Xi ) = i=1 V(Xi ).
Die letzte Aussage nennt man auch den Satz von Bienaymé.
Bemerkung 7.1.3 (Normalverteilung). Die mehrdimensionale Normalverteilung N (b, Σ) aus
Beispiel 6.6.7 besitzt den Erwartungswertvektor a und die Kovarianzmatrix Σ, wie man mit
Hilfe von quadratischen Ergänzungen im Exponenten der Dichte errechnet. 3

7.2 Unabhängigkeit
In diesem Abschnitt geben wir eine präzise Definition der Unabhängigkeit von Ereignissen, Ereig-
nisfamilien und Zufallsgrößen und listen die wichtigsten Beziehungen auf. Außerdem behandeln
wir terminale Ereignisse und das Kolmogorovsche 0-1-Gesetz. Im Folgenden sei (Ω, F, P) ein
Wahrscheinlichkeitsraum.

Definition 7.2.1 (unabhängig). (a) Endlich viele Teilmengen E1 , . . . , En von F heißen un-
abhängig, falls für jede Auswahl von paarweise verschiedenen i1 , . . . , ik ∈ {1, . . . , n} und
jede Wahl von Ail ∈ Eil für l = 1, . . . , k gilt:
k
Y
P(Ai1 ∩ · · · ∩ Aik ) = P(Ail ). (7.2.1)
l=1

(b) Sei I eine beliebige Indexmenge und Ei für i ∈ I eine Teilmenge von F. Dann heißen die
Ei mit i ∈ I unabhängig, wenn je endlich viele unabhängig sind.

(c) Eine beliebige Familie (Ai )i∈I von Ereignissen Ai ∈ F heißt unabhängig, wenn die Men-
gensysteme {Ai , Ω} mit i ∈ I unabhängig sind.

Unabhängigkeit von Ereignissen oder von Mengensystemen hängt also nicht von der Rei-
henfolge der Ereignisse bzw. der Mengensysteme in der Indexmenge ab, aber durchaus von der
Anzahl des Auftretens jedes einzelnen Ereignisses bzw. Mengensystems in der Familie. Wenn
zum Beispiel die Familie (Ai )i∈{1,2} unabhängig ist mit A1 = A2 = A, so heißt das insbesondere:
7.2. UNABHÄNGIGKEIT 97

P(A) = P(A1 ∩ A2 ) = P(A1 )P(A2 ) = P(A)2 , also P(A) ∈ {0, 1}. In diesem Fall ist also A von
sich selber unabhängig. Dieses Beispiel scheint spitzfindig, seine Idee ist aber grundlegend bei
diversen 0-1-Gesetzen (wie etwa auch im Beweis von Satz 7.2.8); dies sind Aussagen der Form,
dass gewisse Ereignisse nur die Wahrscheinlichkeit 0 oder 1 haben können.
Wir klären nun den engen Zusammenhang zwischen Unabhängigkeit und Produktmaßräu-
men für abzählbar viele Faktoren. Wir erinnern an Produkte messbarer Räume und Produkt-
maße, siehe Definition 6.9.1 und Bemerkung 6.10.3.

Lemma 7.2.2 (Produkträume und Unabhängigkeit).

Q Für i ∈ N sei (Ωi , Fi , Pi ) ein Wahrschein-
lichkeitsraum, und es sei (Ω, F, P) = ( i∈N Ωi , ⊗i∈N Fi , ⊗i∈N Pi ) der Produktraum. Dann ist für
beliebige Wahl von messbaren Mengen Ai ∈ Fi die Familie der Mengen πi−1 (Ai ) unabhängig im
Produktraum.

Beweis. Übungsaufgabe.
Im Folgenden ist (Ω, F, P) ein gegebener Wahrscheinlichkeitsraum und I eine beliebige nicht
leere Indexmenge. Teilsysteme von unabhängigen Systemen sind unabhängig:

Lemma 7.2.3. (a) Falls Ei für i ∈ I unabhängig sind und Di ⊂ Ei für i ∈ I gilt, so sind die
Di ebenfalls unabhängig.
S
(b) Falls D und Ei für jedes i ∈ I unabhängig sind, so sind auch D und i∈I Ei unabhängig.

Beweis. einfache Übungsaufgabe.

Wir diskutieren nun ein paar Möglichkeiten, Unabhängigkeiten von Mengensystemen auf
größere Systeme hoch zu ziehen.

Satz 7.2.4. Wenn für i ∈ I die Systeme Di ⊂ F unabhängig sind und durchschnittstabil, so
sind die σ-Algebren σ(Di ) unabhängig.

Beweis. TEs genügt,Qfür jede endliche Teilmenge J von I (sagen wir, J = {1, . . . , n}) zu zeigen,
dass P( ni=1 Ai ) = ni=1 P(Ai ) für jede Wahl von Ai ∈ σ(Di ) für i ∈ {1, . . . , n} gilt. Für k =
0, . . . , n sei Lk die folgende Aussage:
n
\ Yn
P Ai = P(Ai ) ∀Ai ∈ σ(Di ) für i ≤ k, ∀Ai ∈ Di ∪ {Ω} für i > k.
i=1 i=1

Die Aussage L0 gilt wegen der Unabhängigkeit der Di . Es sei 0 ≤ k < n, und es gelte Lk . Wir
betrachten das Mengensystem
n n
\ Yn
Ak+1 = Ak+1 ∈ σ(Dk+1 ) : P Ai = P(Ai )
i=1 i=1
o
∀Ai ∈ σ(Di ) für i ≤ k, ∀Ai ∈ Di ∪ {Ω} für i > k + 1 .

Da Lk gilt, ist Dk+1 in Ak+1 enthalten. Wir zeigen, dass Ak+1 ein Dynkin-System ist, denn dann
gilt d(Dk+1 ) = σ(Dk+1 ) nach Satz 6.2.3 und daher Ak+1 = σ(Dk+1 ).
98 KAPITEL 7. DIE ALLGEMEINE WAHRSCHEINLICHKEITSTHEORIE

Nach Definition ist Ω ∈ Ak+1 . Wenn D ∈ Ak+1 , so gilt für alle Ai ∈ σ(Di ) für i ≤ k, und
für alle Ai ∈ Di für i > k + 1:
k
\ n
\ k
\ n
\ k
\ n
\
c
P Aj ∩ D ∩ Aj =P Aj ∩ Aj − P Aj ∩ D ∩ Aj
j=1 j=k+2 j=1 j=k+2 j=1 j=k+2
Y Y
= P(Aj ) − P(D) P(Aj )
j : j6=k+1 j : j6=k+1
Y
c
= P(D ) P(Aj ),
j : j6=k+1

wobei im zweiten Schritt die Induktionsvoraussetzung und die Tatsache D ∈ Ak+1 ausgenutzt
wurden. Also gilt auch Dc ∈ Ak+1 . Analog zeigt man, dass Ak+1 abgeschlossen ist gegen abzähl-
bare paarweise disjunkte Vereinigungsbildung; man muss in der obigen Rechnung nur Dc durch
eine abzählbare paarweise disjunkte Vereinigung ersetzen und analog verfahren. D. h. Ak+1 ist
ein Dynkin-System, und dies beendet den Beweis.

Bemerkung 7.2.5. Falls die Ereignisse Ai mit i ∈ I unabhängig sind, so sind also auch die σ-
Algebren σ({Ai , Ω}) = {∅, Ai , Aci , Ω} unabhängig. Insbesondere sind also auch die Komplemente
Aci unabhängig. 3

Korollar 7.2.6. Es seien Di ⊂ F für i ∈ I unabhängig und durchschnittstabil. Ferner

S sei
(Ik )k∈K eine Familie von paarweise disjunkten Teilmengen von I. Dann sind die σ( j∈Ik Dj )
für k ∈ K unabhängig.

Beweis. Für k ∈ K sei D bk die Familie der endlichen Durchschnitte von Elementen aus S
j∈Ik Dj .
Das Mengensystem Dk ist offenbar durchschnittstabil, und da die Dj durchschnittstabil sind, hat
b
jedes Element aus D bk die Gestalt Aj ∩· · ·∩Ajn mit n ∈ N, Aj ∈ Dj und paarweise verschiedenen
1

j1 , . . . , jn ∈ Ik . Daraus folgt, dass die D

bk für k ∈ K unabhängig sind. Da Dj ⊂ D
bk für alle j ∈ Ik ,
S
gilt σ( j∈Ik Dj ) = σ(Dk ). Daher folgt die Aussage aus Satz 7.2.4.
b

Eine interessante Kollektion von Ereignissen ist die folgende:

Definition 7.2.7 (terminale Ereignisse). Es sei (Fn )n∈N eine Folge von Teil-σ-Algebren von F,
und wir setzen Fbn = ∞
W
k=n k für n ∈ N. Dann heißt die σ-Algebra
F

\ ∞
\ _
T∞ = Fbn = Fk
n∈N n∈N k=n

die σ-Algebra der terminalen Ereignisse oder die terminale σ-Algebra der Folge (Fn )n∈N .

In T∞ sind diejenigen Ereignisse enthalten, die für jedes n ∈ N nur von den σ-Algebren
Fn , Fn+1 , . . . abhängen. Typische Anwendungen betreffen Fälle, in denen Fn die ‘Gegenwart’
zum Zeitpunkt n beschreibt, also beschreibt Fbn die ‘Zukunft’ ab dem Zeitpunkt n. In diesem
Fall enthält T∞ alle Ereignisse der infinitesimalen Zukunft, d. h. alle Ereignisse, deren Eintre-
ten auch dann noch beurteilt werden kann, wenn man die Beobachtung beliebig spät beginnt,
vorausgesetzt, man betrachtet danach alle späteren Zeitpunkte. Wenn etwa (Xn )n∈N eine Folge
von Zufallsgrößen ist und Xn eine Größe zum Zeitpunkt n beschreibt, dann liegen etwa die
7.2. UNABHÄNGIGKEIT 99

Ereignisse ‘die Folge (Xn )n∈N besucht den Punkt i unendlich oft’ und ‘die Folge (Xn )n∈N bleibt
ab einem Zeitpunkt nur noch in A’ (für einen gegebenen Punkt i bzw. Menge A) in T∞ , wobei
wir Fn = σ(Xn ) gesetzt haben.
Der folgende, verblüffende Satz (mit verblüffendem Beweis) sagt, dass bei Unabhängigkeit
der Fn die terminale σ-Algebra in gewissem Sinn trivial ist:

Satz 7.2.8 (Kolmogorov’sches 0-1-Gesetz). Es sei (Fn )n∈N eine Folge von unabhängigen Teil-
σ-Algebren von F mit terminaler σ-Algebra T∞ . Dann gilt P(A) ∈ {0, 1} für jedes A ∈ T∞ .

7.2.6 sind Fbn+1 und nk=1 Fk unabhängig, also sind

W
Beweis. Es sei n ∈ N fest. Nach Korollar
Wn
nach LemmaS 7.2.3(a) auch T∞ und k=1 Fk unabhängig. Daher sind nach Lemma 7.2.3(b) auch
T∞ und n∈N nk=1 Fk unabhängig. Die letztere Menge ist als eine Vereinigung aufsteigender
W

W 7.2.4 auch T∞ und die

σ-Algebren durchschnittstabil, also sind nach Satz von ihr erzeugte σ-
Algebra unabhängig, und dies ist die σ-Algebra n∈N Fn . Diese enthält Fn für jedes n ∈ N, also
b
enthält sie auch deren Schnitt T∞ . Nach Lemma 7.2.3 ist also T∞ von sich selber unabhängig.
Daraus folgt für jedes A ∈ T∞ , dass P(A) = P(A ∩ A) = P(A)P(A) = P(A)2 , also muss P(A) ∈
{0, 1} sein.
Man nennt eine σ-Algebra T mit P(A) ∈ {0, 1} für jedes A ∈ T auch P-trivial. Eine P-triviale
σ-Algebra ist natürlich {∅, Ω}, aber terminale σ-Algebren sind meist sehr viel größer.
Beispiel 7.2.9 (Perkolation). Es sei K die Menge aller Kanten zwischen je zwei Nachbarn auf
dem Gitter Zd . Mit einem Parameter p ∈ (0, 1) sei (Xi )i∈K eine Kollektion unabhängiger Zufalls-
größen, die jeweils mit Wahrscheinlichkeit p den Wert ‘offen’ und sonst den Wert ‘undurchlässig’
annehmen. Dies ist ein Modell für einen porösen Stein, dessen Kammern durch Wände verbunden
sind, die zufällig durchlässig sind oder nicht. In einem Punkt denken wir uns eine Wasserquelle.
Das Wasser kann nur entlang durchlässiger Kanten fließen. Als Übungsaufgabe zeige man, dass
das Ereignis ‘Es gibt einen Punkt, von dem aus das Wasser einen unendlich langen Weg fließen
kann’ nur die Wahrscheinlichkeiten 0 oder 1 haben kann. Dieses Ereignis ist gleich bedeutend
mit der Existenz eines unendlich großen Clusters, d. h. einer unendlich großen Teilmenge von
Zd , deren Punkte alle mit durchlässigen Kanten mit einander verbunden sind. (In dem Fall, dass
dieses Ereignis eintritt, sagt man, dass Perkolation eintritt.) 3
Lemma 7.2.10. Es sei T ⊂ F eine P-triviale σ-Algebra. Ferner sei X eine (R, B)-wertige,
T -messbare Zufallsgröße. Dann existiert ein c ∈ R mit P(X = c) = 1.

Beweis. Es sei F die Verteilungsfunktion von X. Da {X ≤ t} = X −1 ([−∞, t]) ∈ T für jedes

t ∈ R, gilt F (t) = P(X ≤ t) ∈ {0, 1} für jedes t ∈ R. Da F nicht fällt, sind drei Fälle möglich.

1. Falls F (t) = 0 für alle t ∈ R, so ist P(X > n) = 1 für jedes n ∈ N, also P(X = ∞) = 1.

2. Falls F (t) = 1 für alle t ∈ R, so ist P(X ≤ −n) = 1 für jedes n ∈ N, also P(X = −∞) = 1.

3. Falls F an einer Stelle t0 ∈ R von 0 auf 1 springt, ist P(X ∈ (t0 − n1 , t0 + n1 ]) = F (t0 +
1 1
n ) − F (t0 − n ) = 1 für jedes n ∈ N. Durch den Grenzübergang n → ∞ erhält man, dass
P(X = t0 ) = 1.
100 KAPITEL 7. DIE ALLGEMEINE WAHRSCHEINLICHKEITSTHEORIE

Definition 7.2.11 (Unabhängigkeit von Zufallsgrößen). Für jedes i ∈ I sei Xi : Ω → Ei eine

Zufallsgröße mit Werten in einem messbaren Raum (Ei , Ei ). Die Zufallsgrößen Xi mit i ∈ I
heißen unabhängig, wenn die σ-Algebren Xi−1 (Ei ) mit i ∈ I unabhängig sind.

Bemerkung 7.2.12 (Konstruktion unabhängiger Zufallsgrößen). Man kann aus Zufallsgrößen,

die a priori nichts mit einander zu tun haben, eine Familie unabhängiger Zufallsgrößen mit
den selben Verteilungen konstruieren, indem man alle diese Größen auf dem Produktraum de-
finiert. Wenn für jedes i ∈ I eine Zufallsgröße Xi : Ωi → Ei auf einem Wahrscheinlichkeits-
raum (Ωi , Fi , Pi ) definiert ist und Werte in einem messbaren Raum (Ei , Ei ) hat, so kann man
auf dem Produktraum (Ω, F, P) (siehe Bemerkung 6.10.3) Zufallsgrößen X ei : Ω → Ei durch
Xi (ω) = Xi (ωi ) für ω = (ωi )i∈I ∈ Ω definieren. Dann sind die Größen Xi mit i ∈ I unabhängig,
e e
und die Verteilungen von X ei und Xi stimmen überein. Dies sieht man leicht ein, wenn man
ausnutzt, dass X ei = Xi ◦ πi gilt, wobei πi : Ω → Ωi die kanonische Projektion ist. Dann ist
nämlich
P◦Xe −1 = P ◦ π −1 ◦ X −1 = Pi ◦ X −1 ,
i i i i

denn Pi ist das Bildmaß des Produktmaßes P unter der Projektion πi . 3

Wir sammeln ein paar Eigenschaften unabhängiger Zufallsgrößen, die alle leicht einzusehen
sind:

Lemma 7.2.13. Für jedes i ∈ I sei Xi : Ω → Ei eine Zufallsgröße mit Werten in einem
messbaren Raum (Ei , Ei ).
(a) Falls Di ⊂ F für i ∈ I unabhängig sind und Xi messbar bezüglich Di , so sind die Xi
unabhängig.

(b) Falls die Xi unabhängig sind und ϕi : Ei → Ei0 Abbildungen, die Ei -Ei0 -messbar sind (wobei
Ei0 jeweils eine σ-Algebra auf Ei0 sei), so sind die Abbildungen ϕi ◦ Xi ebenfalls unabhängig.

(c) Die Xi sind genau dann unabhängig, wenn für jedes n ∈ N und alle paarweise verschiede-
nen i1 , . . . , in ∈ I und alle A1 ∈ Ei1 , . . . , An ∈ Ein gilt:
n
Y
P(Xi1 ∈ A1 , . . . , Xin ∈ An ) = P(Xij ∈ Aj ).
j=1

Eine der angenehmsten Eigenschaften unabhängiger Zufallsgrößen ist die folgende Rechen-
regel für den Erwartungswert von Produkten.

Satz 7.2.14. Es seien X und Y zwei unabhängige reelle Zufallsgrößen. Falls X und Y nicht-
negativ sind oder falls X, Y ∈ L1 (P), so gilt E(XY ) = E(X)E(Y ).

Beweis. Zunächst seien X und Y als nichtnegativ vorausgesetzt. Die beiden σ-Algebren F1 =
X −1 (B) und F2 = Y −1 (B) sind unabhängig. Für A ∈ F1 erfüllt die Menge aller nichtnega-
tiven F2 -messbaren Zufallsgrößen Y 0 mit E(1lA Y 0 ) = P(A)E(Y 0 ) die Eigenschaften (i) - (iii)
von Satz 6.4.11. Demzufolge gilt die Gleichung E(1lA Y 0 ) = P(A)E(Y 0 ) für alle nichtnegativen
F2 -messbaren Zufallsgrößen, also insbesondere für Y selbst. Die Menge der nichtnegativen F1 -
messbaren Zufallsgrößen X 0 mit E(X 0 Y ) = E(X 0 )E(Y ) erfüllt ebenfalls die Bedingungen von
7.2. UNABHÄNGIGKEIT 101

Satz 6.4.11. Also ergibt das gleiche Argument wie oben, dass die letzte Gleichung für X 0 = X
gilt.
Nun sei X, Y ∈ L1 (P) vorausgesetzt. Da X und Y unabhängig sind, sind dies auch |X| und
|Y |. Also folgt aus dem Bisherigen, dass E(|XY |) = E(|X|)E(|Y |) gilt. Die Gleichung E(XY ) =
E(X)E(Y ) folgt daraus durch eine Zerlegung in Positiv- und Negativteil.
Als Anwendung von Satz 7.2.14 zeigen wir, dass unter stärkeren Integrierbarkeitsannah-
men die Konvergenzgeschwindigkeit im Schwachen Gesetz der Großen Zahlen (Satz 7.1.1) bei
Unabhängigkeit sogar exponentiell ist und nicht nur linear.
Lemma 7.2.15 (Große Abweichungen). Sei (Xn )n∈N eine Folge von unabhängigen, identisch
verteilten Zufallsgrößen. Setze Sn = X1 + · · · + Xn . Dann gilt für jedes c > 0:
1
log P(Sn > cn) ≤ − sup cα − log E(eαX1 ) .

n α∈(0,∞)

Man erhält exponentielle Konvergenz in Satz 7.1.1, wenn man Lemma 7.2.15 anwendet auf
c = E(X1 ) + ε und ein zweites Mal auf X̃i = −Xi und c = E(X̃1 ) + ε, und wenn man voraus
setzt, dass E(eαX1 ) < ∞ für jedes α ∈ R.
Beweis von Lemma 7.2.15. Wir wenden die Markov-Ungleichung von Satz 5.1.1 wie folgt an:
Für jedes α > 0 gilt
P(Sn > cn) = P(eαSn > eαcn ) ≤ e−αcn E(eαSn ).
Nun schreiben wir eαSn = ni=1 eαXi und benutzen Lemma 7.2.13(b) und Satz 7.2.14, um den
Q
Erwartungswert wie folgt zu berechnen:
n
hY i Yn
E(eαSn ) = E eαXi = E(eαXi ) = E(eαX1 )n .
i=1 i=1

Dies setzen wir oben ein, nehmen den Logarithmus, teilen durch n und optimieren über α.
Wir beleuchten kurz die Verteilung der Summe zweier unabhängiger Zufallsvektoren:
Definition 7.2.16 (Faltung). Die Faltung zweier Wahrscheinlichkeitsmaße P1 und P2 auf
(Rd , Bd ) ist das Bildmaß
P1 ∗ P2 = (P1 ⊗ P2 ) ◦ S −1 ,
wobei S : R2d → Rd definiert ist als S(x1 , x2 ) = x1 + x2 .

Als Übungsaufgabe zeigt man, dass die Faltung zweier Maße mit (Lebesgue-)Dichten f1
und f2 die Dichte f1 ∗ f2 besitzt, wobei f1 ∗ f2 die übliche Faltung zweier Funktionen f1 und f2
bezeichnet. FernerPsieht man ebenfalls leicht, dass die Faltung zweier Wahrscheinlichkeitsmaße
d
P P
n∈Zd pn δn und n∈Zd qn δn auf Z gleich dem Wahrscheinlichkeitsmaß n∈Zd rn δn ist, wobei
r = (rn )n∈Zd die Faltung der Folgen (pn )n∈Zd und (qn )n∈Zd ist. Mit Hilfe dieser Tatsachen
errechnet man als eine Übungsaufgabe die folgenden Faltungseigenschaften der Normal- und der
Poisson-Verteilungen:
Lemma 7.2.17. (i) Die Summe zweier unabhängiger, N (a, σ 2 )- bzw. N (b, τ 2 )- verteilter Zu-
fallsgrößen ist N (a + b, σ 2 + τ 2 )-verteilt.
(ii) Die Summe zweier unabhängiger Poisson-verteilter Zufallsgrößen mit Parametern α > 0
bzw. β > 0 ist Poisson-verteilt mit Parameter α + β.
102 KAPITEL 7. DIE ALLGEMEINE WAHRSCHEINLICHKEITSTHEORIE

Ein anderer Beweis von Lemma 7.2.17 kann mit Hilfe von charakteristischen Funktionen
geführt werden, siehe Abschnitt 8.3.

7.3 Bedingte Erwartungswerte

Wir wollen das Konzept der bedingten Wahrscheinlichkeiten, das wir in Abschnitt 2.1 in der
diskreten Situation einführten, stark erweitern. Insbesondere möchten wir auf viele Ereignis-
se (statt nur auf eines) bedingen, und wir möchten erklären, in welchem Sinne man auf eine
Nullmenge bedingen darf. Sammeln wir zunächst ein paar Tatsachen, deren Rechtfertigung uns
keinerlei Probleme bereitet.
Sei (Ω, F, P) ein Wahrscheinlichkeitsraum und A ∈ F, dann kann man ohne Probleme für
jedes B ∈ F die bedingte Wahrscheinlichkeit von B gegeben A einführen als

P(B ∩ A)
P(B | A) = , falls P(A) > 0.
P(A)

Wir erinnern an die Interpretation von P(B | A) als die Wahrscheinlichkeit von B unter der
Voraussetzung, dass A eingetreten ist. Im Fall P(A) = 0 kann man P(· | A) als irgendein Wahr-
scheinlichkeitsmaß definieren, wenn man möchte oder muss, aber das ist willkürlich. Man sieht
leicht, dass mit dieser Erweiterung der Definition 2.1.2 die Formeln von der totalen Wahrschein-
lichkeit und von Bayes (siehe Lemma 2.1.4) gelten. Außerdem ist auch leicht zu sehen, dass
P(· | A) ein Wahrscheinlichkeitsmaß ist. Also kann man auch problemlos den bedingten Erwar-
tungswert einer Zufallsgröße X ∈ L1 (P) definieren, indem man setzt:
Z
E[X 1lA ]
E[X | A] = = X(ω) P(dω | A). (7.3.1)
P(A) Ω

Natürlich haben wir dann auch die Formel E[1lB | A] = P(B | A).
Nun möchten wir gerne auf viele Ereignisse bedingen anstatt nur auf ein A. Mit anderen
Worten, wir wollen voraussetzen, dass das Eintreten oder Nichteintreten einer gewissen Vielzahl
von Ereignissen bekannt sei. Nun allerdings kann die bedingte Wahrscheinlichkeit nicht mehr
eine einzige Zahl sein, denn sie wird davon abhängen müssen, welche der bedingenden Ereignisse
eingetreten sind und welche nicht. Es fällt uns leicht, den folgenden Spezialfall zu behandeln: Falls
(Ai )i∈I eine (höchstens abzählbare) Familie disjunkter messbarer Mengen ist, deren Vereinigung
Ω ist, dann definieren wir A = σ(Ai : i ∈ I) und für X ∈ L1 (P)

E[X | A](ω) = E[X | Ai ] ⇐⇒ ω ∈ Ai , (7.3.2)

P
also E[X | A] = i∈I 1lAi E[X | Ai ]. Diese Abbildung hat die folgenden zwei wichtigen Eigen-
schaften.

Lemma 7.3.1. (i) E[X | A] ist A-messbar,

(ii) E[X | A] ∈ L1 (P), und für jedes A ∈ A gilt

R R
A E[X | A] dP = AX dP.

Beweis. (i) E[X | A] ist die Hintereinanderschaltung der beiden messbaren Abbildungen Ω 3
ω 7→ i(ω) ∈ I, wobei i(ω) definiert ist durch ω ∈ Ai(ω) , und I 3 i 7→ E[X | Ai ].
7.3. BEDINGTE ERWARTUNGSWERTE 103

(ii) Für A ∈ A gibt es eine Teil-Indexmenge J ⊂ I mit A = ∪i∈J Ai . O.B.d.A. haben wir
P(Ai ) > 0 für jedes i ∈ J. Dann folgt
Z X X Z
E[X | A] dP = P(Ai ) E[X | Ai ] = E[X1lAi ] = X dP.
A i∈J i∈J A

Dies gibt Anlass zu einer Definition. Im Folgenden sei immer (Ω, F, P) ein Wahrscheinlich-
keitsraum, A ⊂ F eine Teil-σ-Algebra und X ∈ L1 (P) eine Zufallsgröße.

Definition 7.3.2 (Bedingte Erwartung). Eine Zufallsgröße Y heißt eine bedingte Erwartung
von X bezüglich A, und wir schreiben Y = E[X | A], falls gelten:

(i) Y ist A-messbar,

(ii) Für jedes A ∈ A gilt E[X1lA ] = E[Y 1lA ].

Falls B ∈ F, so heißt P(B | A) = E[1lB | A] die bedingte Wahrscheinlichkeit von B gegeben A.

Wenn man (ii) für A = Ω ausnutzt, erhält man insbesondere, dass E[E[X | A]] = E[X],
d. h. die bedingte Erwartung von X hat den selben Erwartungswert wie X.
Bedingte Erwartungen und bedingte Wahrscheinlichkeiten werden also nur bis auf fast si-
chere Gleichheit definiert. Auch wenn wir nicht immer darauf hinweisen werden, sind also alle
Gleichungen und Aussagen, in denen sie auftreten, nur fast sicher zu verstehen.

Bemerkung 7.3.3. Auch wenn die Schreibweise sehr suggestiv ist, ist es überhaupt nicht klar
(und es gilt auch nicht in jeder Situation), dass die Abbildung B 7→ P(B | A) ein Wahrschein-
lichkeitsmaß ist. Genauer gesagt, würde man gerne zumindest für fast alle ω ∈ Ω haben wollen,
dass P(· | A)(ω) ein Wahrscheinlichkeitsmaß ist, aber auch hierfür muss man zusätzliche Vor-
aussetzungen machen und diese Aussage beweisen. Grob gesagt, ist das Problem, dass gewisse
Ausnahmemengen a priori von B abhängen, und man muss zeigen, dass es eine Version von
B 7→ P(B | A)(ω) gibt, so dass diese Ausnahmemengen nicht von B abhängen. 3

Bemerkung 7.3.4. Wir können mit den bisherigen Methoden zum Beispiel nicht die folgen-
de, intuitiv lösbar scheinende, Aufgabe behandeln: Gegeben seien eine gleichförmig auf [0, 1]
verteilte Zufallsgröße X und weitere Zufallsgrößen Y1 , . . . , Yn , die bei Kenntnis des Ereignisses
{X = x} unabhängig und Bernoulli-verteilt mit Parameter x sind. Können wir der bedingten
Wahrscheinlichkeit P(Y1 = · · · = Yn = 1 | X = x) einen Sinn geben? Intuitiv sollte das gleich xn
sein, aber wie erklärt man die Bedingung auf die Nullmenge {X = x}? Wir brauchen also einen
Begriff des Erwartungswertes bedingt auf Nullmengen, der unserer Intuition entspricht. 3

Beim sogleich folgenden Beweis der Existenz der bedingten Erwartung werden wir einen der
wichtigsten Sätze der Maßtheorie benötigen, der auch schon in Bemerkung 6.6.5 erwähnt wurde.
Wir erinnern daran, dass wir ν µ schreiben, wenn das Maß ν absolutstetig bezüglich dem
Maß µ ist, d. h. wenn jede µ-Nullmenge auch eine ν-Nullmenge ist.
104 KAPITEL 7. DIE ALLGEMEINE WAHRSCHEINLICHKEITSTHEORIE

Satz 7.3.5 (Satz von Radon-Nikodym). Seien µ und ν zwei σ-endliche Maße auf einem
messbaren Raum (Ω, F). Dann gilt

ν hat eine Dichte bezüglich µ ⇐⇒ ν µ.

In diesem Fall ist die Dichte F-messbar, µ-fast überall endlich und µ-fast überall eindeutig.
dν
Die Dichte dµ heißt die Radon-Nikodym-Dichte von ν nach µ.

Beweise finden sich in jedem guten Maßtheoriebuch.

Satz 7.3.6. Die bedingte Erwartung E[X | A] existiert und ist fast sicher eindeutig.

Beweis. Seien Y und Y 0 bedingte Erwartungen von X bezüglich A. Für die Menge A = {Y >
Y 0 } ∈ A gilt dann E[(Y − Y 0 )1lA ] = E[Y 1lA ] − E[Y 0 1lA ] = 0. Da (Y − Y 0 )1lA ≥ 0, folgt Y ≤ Y 0
fast sicher. Analog folgt die umgekehrte Ungleichung, also die fast sichere Eindeutigkeit.
Wir zerlegen X = X + − X − in den Positiv- und den Negativteil X + = X ∨ 0 bzw. X − =
X+ − X. Durch Q+ (A) = E[X + 1lA ] bzw. Q− (A) = E[X − 1lA ] werden zwei endliche Maße auf
(Ω, A) definiert. Beide Maße sind offensichtlich absolutstetig bezüglich P, also liefert der Satz
von Radon-Nikodym die Existenz vonR A-messbaren Dichten Y + bzw. Y − , so dass Q+ (A) =
+ + − − −
R
A Y dP = E[Y 1lA ] und Q (A) = A Y dP = E[Y 1lA ] für jedes A ∈ A gelten. Dann ist
Y = Y + − Y − eine bedingte Erwartung von X gegeben A, denn Y ist A-messbar, und für jedes
A ∈ A gilt E[Y 1lA ] = E[Y + 1lA ] − E[Y − 1lA ] = E[X + 1lA ] − E[X − 1lA ] = E[X1lA ].
Nun können wir auch die bedingte Erwartung bezüglich einer anderen Zufallsgröße definie-
ren:

Definition 7.3.7. Für jede Zufallsgröße Y heißt E[X | Y ] = E[X | σ(Y )] die bedingte Erwartung
von X bezüglich Y .

Die wichtigsten Eigenschaften der bedingten Erwartung werden nun aufgelistet:

Satz 7.3.8 (Eigenschaften der bedingten Erwartung). Seien A1 ⊂ A ⊂ F zwei Teil-σ-

Algebren, und sei Y ∈ L1 (Ω, F, P) und λ ∈ R, dann gelten:

(i) (Linearität) E[λX + Y | A] = λE[X | A] + E[Y | A].

(ii) (Monotonie) Falls X ≥ Y fast sicher, so E[X | A] ≥ E[Y | A] fast sicher.

(iii) Falls E[|XY |] < ∞ und Y messbar bezüglich A, so gelten

E[XY | A] = Y E[X | A] und insbesondere E[Y | Y ] = Y.

(iv) E[E[X | A] | A1 ] = E[E[X | A1 ] | A] = E[X | A1 ].

(v) |E[X | A]| ≤ E[|X| | A].

7.3. BEDINGTE ERWARTUNGSWERTE 105

(vi) Falls σ(X) und A unabhängig sind, so ist E[X | A] = E[X].

(vii) Falls P(A) ∈ {0, 1} für jedes A ∈ A, so gilt E[X | A] = E[X].

(viii) (Majorisierte Konvergenz) Falls Y ≥ 0 und (Xn )n∈N eine Folge von Zufallsgrößen ist mit
|Xn | ≤ Y für jedes n ∈ N sowie limn→∞ Xn = X fast sicher, so gilt limn→∞ E[Xn | A] =
E[X | A] fast sicher und in L1 (P).

Beweis. (i), (ii): Übungsaufgaben.

(iii): Es ist klar, dass Y E[X | A] die erste Bedingung in der Definition 7.3.2 der bedingten
Erwartung von XY bezüglich A erfüllt. Wir wenden uns der zweiten zu. Es reicht, den Fall
X ≥ 0 und Y ≥ 0 zu betrachten, denn der allgemeine Fall wird mit Hilfe der Linearität und
(i) durch eine Zerlegung in Positiv- und Negativteil erledigt. Die Folge der Yn = 2−n b2n Y c
konvergiert steigend gegen Y . (Mit bxc bezeichnen wir die größte ganze Zahl ≤ x.) Das gilt auch
für Yn E[X | A] gegen Y E[X | A], denn diese Zufallsgrößen sind nach (ii) nichtnegativ. Nach
dem Satz von der monotonen Konvergenz ist dann auch für jedes A ∈ A

lim E[1lA Yn E[X | A]] = E[1lA Y E[X | A]].

n→∞

Andererseits ist wegen der Messbarkeit von Y bezüglich A (man beachte, dass {Yn = k2−n } =
{Y ∈ [k2−n , (k + 1)2−n )} ∈ A für jedes n, k ∈ N0 )
∞
X
E 1lA 1l{Yn =k2−n } k2−n E[X | A]

E[1lA Yn E[X | A]] =
k=1
∞
X
E 1lA 1l{Yn =k2−n } k2−n X = E[1lA Yn X],

=
k=1

und dies konvergiert gegen E[1lA Y X]. Also gilt E[1lA Y E[X | A]] = E[1lA Y X] für jedes A ∈ A.
Also erfüllt Y E[X | A] auch die zweite Bedingung in der Definition der bedingten Erwartung
von XY bezüglich A.
(iv) Übungsaufgabe.
(v) Folgt aus (i) und (ii) mit Hilfe einer Zerlegung in Positiv- und Negativteil.
(vi) Für A ∈ A sind X und 1lA unabhängig, also gilt E[X1lA ] = E[X]E[1lA ] = E[E[X]1lA ].
(vii) A ist von jeder σ-Algebra unabhängig, also auch von σ(X). Daher folgt die Aussage
aus (vi).
(viii) Die Zufallsgrößen Zn = supk≥n |Xk − X| erfüllen 0 ≤ Zn ≤ 2Y und limn→∞ Zn = 0
fast sicher. Insbesondere gilt limn→∞ E[Zn ] = 0 nach dem Satz 6.8.6 von Lebesgue. Mit Hilfe
von (i) und (v) sieht man, dass gilt

E[Xn | A] − E[X | A] ≤ E[Zn | A]. (7.3.3)

Also ist der Erwartungswert der linken Seite nicht größer als E[E[Zn | A]] = E[Zn ], der ja gegen
Null konvergiert. Dies zeigt die behauptete L1 -Konvergenz von E[Xn | A] gegen E[X | A].
106 KAPITEL 7. DIE ALLGEMEINE WAHRSCHEINLICHKEITSTHEORIE

Nach dem Lemma 6.8.4 von Fatou gilt wegen der Monotonie von n 7→ Zn

E lim sup E[Zn | A] = E lim inf E[Zn | A] ≤ lim E[Zn ] = 0.
n→∞ n→∞ n→∞

Daher ist auch lim supn→∞ E[Zn | A] = 0 fast sicher, also auch limn→∞ E[Zn | A] = 0 fast sicher.
Nun folgt die fast sichere Konvergenz von E[Xn | A] gegen E[X | A] aus (7.3.3).

Bemerkung 7.3.9 (Interpretation). Wie im diskreten Zusammenhang in Abschnitt 2.1 ist

E[X | A] der erwartete Wert von X unter der Voraussetzung, dass uns sämtliche Information
aus der σ-Algebra A zur Verfügung steht. Über diese Ereignisse wird nicht mehr gemittelt, sie
werden als deterministisch angesehen. Im Fall σ(X) ⊂ A kennen wir also X schon vollständig
und haben E[X | A] = X, siehe (iii). Im anderen Extrem, wenn X und A unabhängig sind, gibt
uns die Kenntnis von A keine relevante Information über X, und wir haben E[X | A] = E[X],
siehe (vii). 3
Bemerkung 7.3.10. Man zeige durch ein Gegenbeispiel, dass durchaus E[E[X | A] | A1 ] 6=
E[E[X | A1 ] | A] gelten kann, wenn nämlich die σ-Algebren A1 und A nicht ineinander enthalten
sind. 3

Bei quadratisch integrierbaren Zufallsgrößen können wir die bedingte Erwartung sogar als ei-
ne Orthogonalprojektion auffassen. Wir erinnern, dass wir nicht an allen Stellen den Zusatz ‘fast
sicher’ einbauen; insbesondere machen wir keinen Unterschied zwischen dem Raum L2 (Ω, A, P)
und dem Hilbertraum L2 (Ω, A, P), siehe Abschnitt 6.7.
Lemma 7.3.11 (Bedingte Erwartung als Orthogonalprojektion). Sei X ∈ L2 (P), und sei A ⊂ F
eine Teil-σ-Algebra. Dann ist E[X | A] die Orthogonalprojektion von X auf L2 (Ω, A, P). Mit
anderen Worten, es gilt für jede A-messbare Zufallsgröße Y ∈ L2 (P):

E[(X − Y )2 ] ≥ E (X − E[X | A])2

mit Gleichheit genau dann, wenn Y = E[X | A].

Beweis. Übungsaufgabe.

Beispiel 7.3.12. Seien X1 , . . . , XN unabhängige zentrierte Zufallsgrößen. Wir betrachten die

Irrfahrt Sn = X1 + · · · + Xn und die σ-Algebren An = σ(X1 , . . . , Xn ) für n = 1, . . . , N . Dann
gilt für n ≥ m

E[Sn | Am ] = E[X1 | Am ] + · · · + E[Xn | Am ] = X1 + · · · + Xm + E[Xm+1 ] + · · · + E[Xn ] = Sm .

Damit haben wir gezeigt, dass die Folge (Sn )n=1,...,N ein sogenanntes (An )n=1,...,N -Martingal
ist. (Die Theorie der Martingale ist ein wichtiger Teilbereich der Theorie der Stochastischen
Prozesse.) Nach Satz 7.3.8(iv) ist wegen σ(Sm ) ⊂ Am auch

E[Sn | Sm ] = E[E[Sn | Am ] | Sm ] = E[Sm | Sm ] = Sm .

Die natürliche Erweiterung der Formel von Bayes aus Lemma 2.1.4 ist die folgende:
Lemma 7.3.13 (Bayes’sche Formel). Für alle A ∈ A und B ∈ F mit P(B) > 0 gilt
R
A P(B | A) dP E 1lA P(B | A)
P(A | B) = R = .
P(B | A) dP E P(B | A)
7.3. BEDINGTE ERWARTUNGSWERTE 107

Beweis. Dies folgt leicht aus der zweiten definierenden Eigenschaft in Definition 7.3.2.
Der Spezialfall, dass A von einer höchstens abzählbaren Familie paarweise disjunkter Men-
gen mit positiven Wahrscheinlichkeiten erzeugt wird, ist gerade Lemma 2.1.4.
Bedingte Wahrscheinlichkeiten haben etliche Eigenschaften, die analog sind zu jenen, die
Wahrscheinlichkeitsmaße haben, und wir werden gleich ein paar wichtige davon behandeln. Man
behalte aber im Hinterkopf, dass bedingte Wahrscheinlichkeiten Zufallsgrößen sind und dass
daher die Beweise der jeweiligen Eigenschaft aus der Definition 7.3.2 heraus geführt werden
müssen.
Satz 7.3.14 (Bedingte Markov-Ungleichung). Für jede monoton steigende messbare Abbildung
ϕ : (0, ∞) → (0, ∞) gilt
E[ϕ(|X|) | A]
P(|X| ≥ ε | A) ≤ , ε > 0.
ϕ(ε)

Beweis. Wie im Beweis der gewöhnlichen Markov-Ungleichung in Satz 5.1.1 nutzt man aus,
dass fast sicher gilt: 1l{|X|≥ε} ≤ ϕ(|X|)/ϕ(ε). Der Rest des Beweises folgt aus der Monotonie und
Linearität der bedingten Erwartung.

Satz 7.3.15 (Bedingte Jensen-Ungleichung). Sei I ⊂ R ein Intervall und ϕ : I → R konvex,

und sei X ∈ L1 (P) eine I-wertige Zufallsgröße. Dann gilt

ϕ E[X | A] ≤ E[ϕ(X) | A] ≤ ∞.

Beweis. Dies ist eine Anpassung des Beweises von Satz 6.7.2. Wir sagen, dass eine Aussage A
auf einem Ereignis B fast sicher gelte, wenn P(B \ A) = 0.
Auf dem Ereignis {E[X | A] ist ein Randpunkt von I} ist X fast sicher konstant gleich
diesem Randpunkt. Dies sieht man wie folgt ein. Sei o. B. d. A. 0 der linke Randpunkt von I,
also gilt X ≥ 0 fast sicher. Daher ist auch E[X | A] ≥ 0 fast sicher. Nun haben wir

E[X] = E E[X | A] = E E[X | A]1l{E[X|A]>0} = E X1l{E[X|A]>0} ,

da das Ereignis {E[X | A] > 0} in A liegt. Durch Differenzbildung der obigen beiden Seiten folgt
E[X1l{E[X|A]=0} ] = 0, also auch P(X > 0, E[X | A] = 0) = 0. Dies heißt, dass X = 0 fast sicher
auf dem Ereignis {E[X | A] = 0} gilt. Auf diesem Ereignis ist E[ϕ(X) | A] fast sicher gleich der
Konstanten ϕ(0), denn die eventuelle Abänderung der Funktion ω 7→ E[ϕ(X) | A](ω) auf einer
Nullmenge auf {E[X | A] = 0} ändert nichts an der Eigenschaft der bedingten Erwartung von
ϕ(X) gegeben A, wie man leicht nachrechnet. Daher ist die behauptete Ungleichung trivial auf
dem Ereignis {E[X | A] ist ein Randpunkt von I}.
Wir betrachten das Ereignis B = {E[X | A] ist ein innerer Punkt von I}. Für y ∈ I ◦ sei
D+ ϕ(y) = max{t ∈ R : ϕ(x) − ϕ(y) ≥ (x − y)t ∀x ∈ I} die maximale Tangentensteigung von
ϕ in y, d. h. die Rechtsableitung von ϕ in y. Also gilt ϕ(x) ≥ (x − y)D+ ϕ(y) + ϕ(y) für jedes
x ∈ I. Wegen Konvexität ist D+ ϕ steigend, also messbar, und daher ist D+ ϕ(E[X | A]) eine
A-messbare Zufallsgröße. Es folgt fast sicher auf B:
h i
E[ϕ(X) | A] ≥ E X − E[X | A] D+ ϕ(E[X | A]) + ϕ E[X | A] A = ϕ E[X | A]

108 KAPITEL 7. DIE ALLGEMEINE WAHRSCHEINLICHKEITSTHEORIE

fast sicher auf B.

Korollar 7.3.16. Sei p ∈ [1, ∞], dann ist die Abbildung Lp (Ω, F, P) → Lp (Ω, A, P), definiert
durch X 7→ E[X | A], eine Kontraktion (d. h. kE[X | A]kp ≤ kXkp ) und insbesondere ste-
tig. Insbesondere gilt für Folgen (Xn )n∈N im Lp (Ω, F, P) mit limn→∞ kXn − Xkp = 0 auch
limn→∞ kE[Xn | A] − E[X | A]kp = 0.

Beweis. Für p ∈ [1, ∞) benutze man die bedingte Jensensche Ungleichung für ϕ(x) = |x|p . Für
p = ∞ benutze man |E[X | A]| ≤ E[|X| | A] ≤ E[kXk∞ | A] = kXk∞ .

Bemerkung 7.3.17 (Verkleinerung der Varianz). Als eine Übungsaufgabe folgere man, dass
für jede quadratisch integrierbare Zufallsgröße X die Varianz von E[X | A] nicht größer ist als
die von X. 3

Ebenfalls kann man den folgenden wichtigen Satz als Folgerung aus der bedingten Jensen-
schen Ungleichung beweisen:

Satz 7.3.18 (Bedingte Cauchy-Schwarz-Ungleichung). Für alle X, Y ∈ L2 (P) gilt

E[XY | A]2 ≤ E[X 2 | A] E[Y 2 | A].

Beweis. Übungsaufgabe.
Im Folgenden wollen wir uns endlich der Frage nähern, die in Bemerkungen 7.3.3 und 7.3.4
aufgeworfen wurde. Ein wichtiges technisches Hilfsmittel wird dabei die folgende Tatsache über
die Messbarkeit von Hintereinanderausführungen sein. Wir erinnern uns daran, dass B die von
B und {∞, −∞} auf R = R ∪ {∞, −∞} erzeugte σ-Algebra ist.

Lemma 7.3.19 (Faktorisierungslemma). Seien (Ω, F) und (Ω0 , F 0 ) zwei Messräume und f : Ω →
Ω0 messbar. Dann ist eine Abbildung g : Ω → R genau dann messbar bezüglich σ(f ) und B, wenn
es eine messbare Abbildung ϕ : Ω0 → R gibt mit g = ϕ ◦ f . Wenn f surjektiv ist, ist ϕ eindeutig
festgelegt, und wir schreiben dann ϕ = g ◦ f −1 .

Beweis. Wegen Lemma 6.4.4 ist nur die Richtung ‘=⇒’ zu zeigen. Mit Hilfe einer Zerlegung
in Positiv- und Negativteil sieht man, dass es reicht, die Aussage für nichtnegative g zu zeigen.
Sei also g : Ω → [0, ∞] messbar bezüglich σ(f ) und B, dann gibt es A1 , A2 , · · · ∈ σ(f ) und
α1 , α2 , · · · ∈ [0, ∞) mit g = ∞
P
n=1 αn 1lAn . Dies sieht man ein, indem man die einfache Funktion
gn = (2−n b2n gc) ∧ n aus dem Beweis von Lemma 6.4.10 betrachtet (man erinnere sich, dass
gn ↑ g für n → ∞) und beachtet, dass
2n
X
gn − gn−1 = i2−n 1l{gn −gn−1 =i2−n } .
i=1

Wegen
P∞ An ∈ σ(f ) gibt es ein Bn ∈ F 0 mit f −1 (Bn ) = An , also mit 1lAn = 1lBn ◦ f . Nun leistet
ϕ = n=1 αn 1lBn das Gewünschte. Die Eindeutigkeit bei Surjektivität sieht man leicht ein.
Wir weisen noch darauf hin, dass im Falle der Surjektivität die Schreibweise ϕ = g ◦ f −1
nicht etwa heißen soll, dass eine Inverse von f existiert, sondern dass gemeint ist: ϕ(ω 0 ) = g(ω)
mit irgendeinem ω ∈ Ω, das f (ω) = ω 0 erfüllt.
7.3. BEDINGTE ERWARTUNGSWERTE 109

Nun sei X eine E-wertige Zufallsvariable, wobei (E, E) ein beliebiger messbarer Raum ist.
Unser Ziel ist, für jedes x ∈ E ein Wahrscheinlichkeitsmaß P( · | X = x) anzugeben, sodass
für jedes A ∈ F auf dem Ereignis {X = x} gilt: P(A | X) = P(A | X = x). Die Schwierigkeit
besteht darin, dass {X = x} im Allgemeinen eine Nullmenge ist. Wir werden die Aufgabe im
Allgemeinen auch nicht für jedes einzelne x lösen, sondern nur (in einem gewissen Sinne) für
fast alle x.

Definition 7.3.20 (Bedingte Erwartung von W gegeben X = x). Sei W ∈ L1 (P) und X eine E-
wertige Zufallsvariable, wobei (E, E) ein beliebiger messbarer Raum ist. Dann ist Z = E[W | X]
messbar bezüglich σ(X) und B. Nach Lemma 7.3.19 existiert eine E − B-messbare Abbildung
ϕ : E → R mit Z = ϕ(X). Diese Abbildung ϕ heißt die bedingte Erwartung von W gegeben
X = x, kurz ϕ(x) = E[W | X = x].
Wir setzen weiterhin P(A | X = x) = E[1lA | X = x] für A ∈ F.

Falls X surjektiv ist, so ist die bedingte Erwartung von W gegeben X = x eindeutig festge-
legt, und wir können ϕ = Z ◦ X −1 schreiben.
Wenn Y eine Zufallsgröße mit Werten in einem beliebigen messbaren Raum (E 0 , E 0 ) ist,
können wir diese Definition auf W = 1l{Y ∈B} anwenden und sind nun schon soweit, dass wir
P(Y ∈ B | X = x) = E[1l{Y ∈B} | X = x) erklären können für jede einzelne messbare Menge
B ∈ E 0 . Nun entsteht die natürliche Frage, ob die Kollektion der Zufallsvariablen (P(Y ∈ B |
X = x))B∈E 0 aufgefasst werden kann als ein (durch x indiziertes, also gewissermaßen zufälliges)
Wahrscheinlichkeitsmaß. Dieses Maß könnte man dann die bedingte Verteilung von Y gegeben
{X = x} nennen. Diese Frage liegt tief, denn diese Zufallsvariablen P(Y ∈ B | X = x) sind
jeweils nur über fast sichere Eigenschaften definiert worden, und die jeweilige Ausnahmemenge
hängt von B ab. Da wir von überabzählbar vielen B reden, ist es zunächst unklar, ob man sich
auf eine einzige Ausnahmemenge mit Maß Null zurückziehen kann, die nicht von B abhängt.
Um diese Situation genau zu fassen, benötigen wir den folgenden Begriff.

Definition 7.3.21 (Markovkern). Es seien (E1 , E1 ) und (E2 , E2 ) zwei messbare Räume. Ein
Markovkern K von (E1 , E1 ) nach (E2 , E2 ) ist eine Abbildung K : E1 × E2 → [0, 1] mit den fol-
genden Eigenschaften:
(i) Für jedes x ∈ E1 ist K(x, ·) ein Wahrscheinlichkeitsmaß auf (E2 , E2 ).

(ii) Für jedes A ∈ E2 ist K(·, A) E1 -messbar.

Wir sagen auch kurz, K sei ein Kern von E1 nach E2 .

Beispiel 7.3.22. (a) Mit einem Wahrscheinlichkeitsmaß ν auf (E2 , E2 ) wird ein Markovkern
K durch K(x, A) = ν(A) definiert.

(b) Mit einer messbaren Abbildung f : E1 → E2 wird ein Markovkern K durch K(x, A) =
1lA (f (x)) definiert.

(c) Es sei P eineP

stochastische Matrix auf einer abzählbaren Menge I (d. h. P = (pi,j )i,j∈I mit
pi,j ≥ 0 und j∈I pi,j P
= 1 für jedes i ∈ I), und es sei (E1 , E1 ) = (E2 , E2 ) = (I, P(I)), dann
wird durch K(i, A) = j∈A pi,j ein Markovkern definiert.
3
110 KAPITEL 7. DIE ALLGEMEINE WAHRSCHEINLICHKEITSTHEORIE

Bemerkung 7.3.23. Es reicht in Definition 7.3.21 die Eigenschaft (ii) nur für Mengen A aus
einem durchschnittstabilen Erzeugendensystem von E2 zu fordern, denn die Menge

{A ∈ E2 : K(·, A) ist E1 -messbar}

ist ein Dynkin-System, wie man leicht sieht. Siehe Satz 6.2.3.

Betreffend die Frage, die wir vor Definition 7.3.21 stellten, wünschen wir uns also einen
Markovkern K = KY,A mit K(x, B) = P(Y ∈ B | X = x) für (fast) alle x ∈ E und alle B ∈ E 0 ,
wobei das ‘fast’ nicht von B abhängen soll, genau wie in Definition 7.3.21. Wir formalisieren
dies nun.

Definition 7.3.24 (Reguläre Version der bedingten Verteilung). Sei Y eine Zufallsvariable mit
Werten in einem messbaren Raum (E 0 , E 0 ), und sei A ⊂ F eine Teil-σ-Algebra. Ein Markovkern
KY,A von (Ω, A) nach (E 0 , E 0 ) heißt eine reguläre Version der bedingten Verteilung von Y gegeben
A, falls KY,A (ω, B) = P(Y ∈ B | A)(ω) für P-fast alle ω ∈ Ω und für alle B ∈ E 0 gilt. (Man
beachte, dass das ‘fast’ nicht von B abhängt!)
Sei speziell A = σ(X) für eine Zufallsvariable X mit Werten in einem messbaren Raum
(E, E). Dann heißt der Markovkern KY,X definiert durch KY,X (x, B) = P(Y ∈ B | X = x) =
KY,σ(X) (X −1 (x), B) (die Funktion ϕ aus Lemma 7.3.19 mit beliebiger Festsetzung für x ∈
/ X(Ω),
wobei f = X und g = KY,σ(X) ( ·, B)) eine reguläre Version der bedingten Verteilung von Y
gegeben X.

Falls er existiert, ist also der Markovkern KY,X genau das Objekt, nach dem wir vor Defi-
nition 7.3.21 fragten. Nun beweisen wir seine Existenz (sogar die Existenz eines Kernes KY,A ),
allerdings unter der Einschränkung, dass Y seine Werte in einem polnischen Raum E 0 annimmt,
d. h. in einem separablen2 vollständigen metrischen Raum. (Die σ-Algebra, die wir auf so einem
Raum betrachten, ist natürlich die Borel-σ-Algebra E 0 , die von dem System der offenen Mengen
erzeugt wird.) Diese Einschränkung ist allerdings recht harmlos, denn die meisten Wertebereiche
von Interesse sind polnisch, wie etwa alle separablen Banachräume oder die Menge aller stetigen
Abbildungen K → R auf einem Kompaktum K ⊂ Rd , zusammen mit der Supremumsnorm.
Es ist anschaulich relativ klar, dass wir eine Annahme machen müssen, die es uns erlaubt, die
σ-Algebra F mit nur abzählbar vielen messbaren Mengen in geeigneter Weise zu approximieren
(wie es gerade in polnischen Räumen möglich ist), denn wir haben ja oben gesehen, dass es
darauf ankommt, überabzählbar viele Nullmengen zu einer Nullmenge zu vereinigen.

Satz 7.3.25. Sei die Situation von Definition 7.3.24 gegeben. Falls (E 0 , E 0 ) ein polnischer
Raum ist (d. h. E 0 die Borel-σ-Algebra), so existiert eine reguläre Version KY,A der bedingten
Verteilungen P(Y ∈ · | A).

Beweis. Wir geben hier nur den Beweis für (E 0 , E 0 ) = (R, B). Im allgemeinen Fall konstruiert
man einen Maßraum-Isomorphismus von (R, B) in den polnischen Raum, siehe [Du02, Theo-
rem 13.1.1].
Für r ∈ Q sei F (r, ·) eine Version der bedingten Wahrscheinlichkeit P(Y ∈ (−∞, r] | A). Da
die Abbildung r 7→ 1l{Y ∈(−∞,r]} steigend ist, gibt es nach Satz 7.3.8(ii) (Monotonie der bedingten
2
Ein topologischer Raum heißt separabel, wenn er eine abzählbare dichte Teilmenge enthält.
7.3. BEDINGTE ERWARTUNGSWERTE 111

Erwartung) für jedes r ≤ s eine Nullmenge Ar,s ∈ A mit F (r, ω) ≤ F (s, ω) für jedes ω ∈ Ω \ Ar,s .
Nach Satz 7.3.8(viii) (Satz von der majorisierten Konvergenz) gibt es eine Nullmenge C ∈ A
und für jedes r ∈ Q eine Nullmenge Br ∈ A, sodass
1
lim F r + , ω = F (r, ω), ω ∈ Ω \ Br ,
n→∞ n
und
lim F (−n, ω) = 0 und lim F (n, ω) = 1, ω ∈ Ω \ C.
n→∞ n→∞
Sei N die Vereinigung aller Nullmengen Ar,s , Br und C mit s, r ∈ Q und r ≤ s, dann ist ja N
auch eine Nullmenge. Für ω ∈ Ω \ N ist dann
F (z, ω) = inf{F (r, ω) : r ∈ Q, r ≥ z}, z ∈ R,
wohldefiniert. Für ω ∈ N setze F (z, ω) = F0 (z), wobei F0 eine beliebige Verteilungsfunktion ist.
Nach Konstruktion ist F (·, ω) für jedes ω ∈ Ω eine Verteilungsfunktion. Dies ist für ω ∈ N klar,
und für ω ∈
/ N ist zunächst klar, dass F (·, ω) steigend ist auf R mit Grenzwerten 0 und 1 bei −∞
bzw. ∞ (denn ω ∈ / C). Die Rechtsstetigkeit in einem beliebigen z ∈ R sieht man wie folgt. Wegen
Monotonie ist F (z, ω) ≤ limr↓z F (r, ω) für jedes z ∈ R. Falls z ∈ Q, so folgt die Rechtsstetigkeit
von F (·, ω) in z daraus, dass ω ∈/ Br , zusammen mit der Monotonie von F (·, ω). Sei z ∈ R \ Q,
und sei (εn )n∈N eine Nullfolge in (0, ∞), und sei δ > 0. Auf Grund der Definition von F (z, ω)
gibt es ein r ∈ Q mit r > z und F (z, ω) ≥ F (r, ω) − δ. Es gilt z + εn < r für alle genügend großen
n, also auch F (r, ω) ≥ F (z + εn , ω), und daraus folgt F (z, ω) ≥ lim inf n→∞ F (z + εn , ω) − δ.
Nun kann man δ ↓ 0 gehen lassen und erhält die Rechtsstetigkeit von F (·, ω) in z.
Nach Satz 6.3.2 gibt es für jedes ω ∈ Ω ein Wahrscheinlichkeitsmaß K(ω, ·) auf (Ω, F),
dessen Verteilungsfunktion F (·, ω) ist. Nun müssen wir noch zeigen, dass K ein Markovkern ist
(hierfür ist nur die Messbarkeit von K(·, B) für jedes B ∈ B zu zeigen) und dass K eine Version
der bedingten Verteilungen ist. Für r ∈ Q und B = (−∞, r] ist dann
K(ω, B) = P(Y ∈ B | A)(ω) 1lN c (ω) + F0 (r)1lN (ω). (7.3.4)
Insbesondere ist ω 7→ K(ω, B) messbar. Da {(−∞, r] : r ∈ Q} ein durchschnittstabiler Erzeuger
von B ist, gilt die Messbarkeit sogar für jedes B ∈ B (siehe Bemerkung 7.3.23). Also ist K ein
Markovkern. Dieser Kern ist auch eine Version der bedingten Verteilungen: Für A ∈ A, r ∈ Q
und B = (−∞, r] ist nach (7.3.4)
Z Z
K(ω, B) P(dω) = P(Y ∈ B | A) dP = P(A ∩ {Y ∈ B}).
A A

Als Funktion von B sind beide Seiten endliche Maße, die auf dem System {(−∞, r] : r ∈ Q}
übereinstimmen. Nach dem Eindeutigkeitssatz 6.2.8 gilt die Gleichung sogar für jedes B ∈ B.
Also ist K(·, B) = P(Y ∈ B | A) P-fast sicher. Daraus folgt, dass K = KY,A .
Satz 7.3.25 besagt, dass man, wenn Y Werte in einem polnischen Raum (E 0 , E 0 ) annimmt,
die Abbildungen ω 7→ P(Y ∈ B | A)(ω) mit B ∈ E 0 jeweils auf Nullmengen so abändern
kann, dass sie übereinstimmen mit einer messbaren Abbildung ω 7→ K(ω, B), die in B für jedes
ω ein Wahrscheinlichkeitsmaß auf (E 0 , E 0 ) ist. Dies beantwortet also die in Bemerkung 7.3.3
aufgeworfene Frage. Um zu prüfen, ob ein gegebener Markovkern K diese Eigenschaft hat, muss
man also nur prüfen, ob für jedes B die Abbildung ω 7→ K(ω, B) ein bedingter Erwartungswert
von Y gegeben A ist, also A-messbar ist und E[1lA 1l{Y ∈B} ] = E[1lA K(·, B)] für jedes A ∈ A
erfüllt.
112 KAPITEL 7. DIE ALLGEMEINE WAHRSCHEINLICHKEITSTHEORIE

Beispiel 7.3.26. Sind X und Y unabhängige reelle Zufallsgrößen, so ist für P ◦ X −1 -fast alle
x∈R
P(X + Y ∈ · | X = x) = δx ∗ (P ◦ Y −1 ).
Mit anderen Worten: Gegeben X = x, ist die bedingte Verteilung von X +Y gleich der von x+Y .
Diesen Sachverhalt vermuteten wir schon lange, und wir konnten ihn auch in dem Fall beweisen,
wo {X = x} positive Wahrscheinlichkeit hat, aber die korrekte Formulierung im allgemeinen
Fall erfordert den Apparat, den wir soeben einführten. 3

Beispiel 7.3.27. Die motivierende Frage aus Bemerkung 7.3.4 können wir nun auch korrekt be-
handeln. Sei also X auf [0, 1] uniform verteilt, und gegeben {X = x} seien Y1 , . . . , Yn unabhängi-
ge Bernoulli-verteilte Zufallsgrößen mit Parameter x. Die Zufallsvariable Y = (Y1 , . . . , Yn ) hat
Werte in dem polnischen Raum Rn . Also existieren die regulären bedingten Verteilungen

KY,X (x, ·) = P(Y ∈ · | X = x), x ∈ [0, 1].

Die Verteilung P(Y ∈ · | X = x) ist natürlich identisch mit dem n-fachen Produkt des Bernoulli-
Maßes mit Parameter x. 3

Beispiel 7.3.28. Seien Z1 und Z2 zwei unabhängige normalverteilte reelle Zufallsgrößen mit
Erwartungswerten µ1 , µ2 ∈ R und Varianzen σ12 , σ22 ∈ (0, ∞), siehe Beispiel 4.3.7 und Lem-
ma 4.3.8. Dann kann man als eine Übungsaufgabe zeigen, dass die reguläre bedingte Verteilung
P(Z1 ∈ · | Z1 + Z2 = x) für x ∈ R existiert und für fast alle x gleich der Normalverteilung mit
σ12 σ12 σ22
Erwartungswert µ1 + σ2 +σ 2 (x − µ1 − µ2 ) und Varianz σ 2 +σ 2 ist. 3
1 2 1 2

Beispiel 7.3.29. Seien X und Y zwei reelle Zufallsvariablen mit gemeinsamer (Lebesgue-)Dichte
f : R2 → [0, ∞). Wir betrachten die Randdichte bezüglich X, die gegeben ist durch
Z
fX (x) = f (x, y) λ(dy), x ∈ R.
R

Dann ist fX positiv P ◦ X −1 -fast sicher. Wir behaupten, dass die reguläre Version der bedingten
Verteilung von Y gegeben X die Dichte

P(Y ∈ dy | X = x) f (x, y)
= fY |X (x, y) = für P ◦ X −1 -fast alle x ∈ R
dy fX (x)
R
besitzt, also dass der Kern KY,X aus Definition 7.3.24 durch K(x, B) = B f (x, y) λ(dy)/fX (x)
gegeben wird. Um dies zuRzeigen, benutzt man zunächst den Satz 6.10.5 von Fubini, um zu sehen,
dass die Abbildung x 7→ B fY |X (x, y) λ(dy) für jedes B ∈ B messbar ist. Ferner überzeugt man
sich davon, dass für alle A, B ∈ B gilt:
Z Z
1
E 1l{X∈A} K(x, B) = P(X ∈ dx) f (x, y) λ(dy)
A fX (x) B
Z Z Z
= λ(dx) f (x, y) λ(dy) = f (x, y) λ(d(x, y))
A B A×B

= P(X ∈ A, Y ∈ B) = E 1l{X∈A} B .

3
7.3. BEDINGTE ERWARTUNGSWERTE 113

Um sinnvoll mit regulären bedingten Verteilungen umgehen zu können, muss man natürlich
noch wissen, wie man bezüglich ihrer integriert:

Satz 7.3.30. Sei Y eine Zufallsvariable mit Werten in einem polnischen Raum (E 0 , E 0 ). Sei
A ⊂ F eine Teil-σ-Algebra und KY,A eine reguläre Version der bedingten Verteilungen P(Y ∈
· | A). Sei ferner f : E 0 → R messbar mit E[|f (Y )|] < ∞. Dann gilt
Z
E[f (Y ) | A](ω) = f (y) KY,A (ω, dy) für P-fast alle ω ∈ Ω. (7.3.5)

Beweisskizze. Es reicht, f ≥ 0 voraus zu setzen. Mit Hilfe einer Approximation durch einfache
Funktionen (dies geht ähnlich wie im Beweis des Satzes 6.10.2 über Produktmaße) zeigt man,
dass die rechte Seite von (7.3.5) als Funktion von ω messbar bezüglich A ist. Dies zeigt, dass
die erste definierende Eigenschaft der rechten Seite als bedingte Erwartung von f (Y ) gegeben
A erfüllt ist. Im Folgenden zeigen wir die zweite.
Wie wir im Beweis des Faktorisierungslemmas 7.3.19 gesehen haben,P gibt es messbare Men-
gen A1 , A2 , · · · ∈ E 0 und α1 , α2 , · · · ∈ [0, ∞), sodass die Funktion fn = ni=1 αi 1lAi punktweise
monoton gegen f konvergiert. Für jedes n ∈ N und jedes B ∈ A errechnet man
n
X n
X Z
E[fn (Y )1lB ] = αi P({Y ∈ Ai } ∩ B) = αi P({Y ∈ Ai } | A)(ω) P(dω)
i=1 i=1 B

Xn Z n
Z X
= αi KY,A (ω, Ai ) P(dω) = αi KY,A (ω, Ai ) P(dω)
i=1 B B i=1
Z Z
= fn (y) KY,A (ω, dy) P(dω).
B

Nach dem Satz von der monotonen

R Konvergenz konvergiert für fast jedes ω das innere Integral
auf der rechten Seite gegen f (y) KY,A (ω, dy). Erneute Anwendung dieses Satzes liefert
Z Z
E[f (Y )1lB ] = lim E[fn (Y )1lB ] = f (y) KY,A (ω, dy) P(dω).
n→∞ B

Man beachte, dass Satz 7.3.30 einen großen Fortschritt gegenüber der Situation nach der
Einführung bedingter Erwartungen darstellt, denn a priori wussten wir zunächst nur, dass
E[f (Y ) | A] eine fast sicher definierte Zufallsgröße ist, und Ausnahmemengen hingen von f ab.
Nun können wir auch leicht die folgende wichtige Ungleichung folgern.
1 1
Korollar 7.3.31 (Bedingte Hölder’sche Ungleichung). Seien p, q ∈ (1, ∞) mit p + q = 1, und
seien X ∈ Lp (P) und Y ∈ Lq (P). Sei A ⊂ F eine Teil-σ-Algebra. Dann gilt
1 1
E[|XY | | A] ≤ E[|X|p | A] p E[|Y |q | A] q .

Beweis. Leichte Übungsaufgabe.

Kapitel 8

Konvergenzbegriffe

In diesem Kapitel behandeln wir die wichtigsten wahrscheinlichkeitstheoretischen Konzepte von

Konvergenz und ihre Beziehungen untereinander. Grenzwerte von Zufallsgrößen (bzw. derer
Verteilungen) werden in Abschnitt 8.1 betrachtet, die schwache Konvergenz von Wahrschein-
lichkeitsmaßen in Abschnitt 8.2, und eines der wichtigsten Hilfsmittel, die charakteristischen
Funktionen, in Abschnitt 8.3, wo wir auch den Zentralen Grenzwertsatz beweisen.

8.1 Konvergenz von Zufallsgrößen

Im Folgenden sei (Xn )n∈N eine Folge von Zufallsgrößen Xn : Ω → R, die alle auf dem selben
Wahrscheinlichkeitsraum (Ω, F, P) definiert sind. In der Wahrscheinlichkeitstheorie sind die fol-
genden drei Konvergenzbegriffe besonders wichtig:

Definition 8.1.1 (Konvergenzbegriffe). (a) Die Folge (Xn )n∈N konvergiert fast sicher gegen
eine Zufallsgröße X, falls

P {ω ∈ Ω : lim Xn (ω) = X(ω)} = 1.
n→∞

Wir schreiben dann Xn → X P-fast sicher. (Die Menge {limn→∞ Xn = X} ist messbar,
wie aus Lemma 6.4.5 leicht folgt.)

(b) Es sei p > 0, und es gelte Xn ∈ Lp (P) für jedes n. Dann konvergiert (Xn )n∈N im p-ten
Mittel gegen eine Zufallsgröße X ∈ Lp (P), falls

lim E(|Xn − X|p ) = lim kXn − Xkpp = 0.

n→∞ n→∞

(c) Die Folge (Xn )n∈N konvergiert in Wahrscheinlichkeit oder stochastisch gegen eine Zufalls-
größe X, falls
lim P(|Xn − X| > ε) = 0, für jedes ε > 0.
n→∞

Man beachte, dass für die fast sichere Konvergenz alle Zufallsgrößen X1 , X2 , X3 , . . . ‘gleich-
zeitig’ auf einem Wahrscheinlichkeitsraum definiert sein müssen, während die anderen beiden

115
116 KAPITEL 8. KONVERGENZBEGRIFFE

Begriffe nur von der Verteilung von Xn − X für alle n ∈ N abhängen. Man sieht als eine leichte
Übungsaufgabe, dass alle drei Konvergenzarten den Grenzwert bis auf fast sichere Gleichheit
festlegen.
Die Beziehungen zwischen diesen Konvergenzarten sind die folgenden.

Lemma 8.1.2. (a) Fast sichere Konvergenz impliziert Konvergenz in Wahrscheinlichkeit.

(b) Konvergenz im p-ten Mittel impliziert Konvergenz in Wahrscheinlichkeit.

Beweis. (a) Es sei Yn = 1l{|Xn −X|>ε} für ein ε > 0. Wenn Xn → X fast sicher, so gilt Yn → 0 fast
sicher. Wegen |Yn | ≤ 1 folgt aus dem Satz 6.8.6 von Lebesgue, dass P(|Xn −X| > ε) = E(Yn ) → 0.
(b) folgt direkt aus der Markov-Ungleichung (siehe Satz 5.1.1) mit ϕ(x) = xp .
Die anderen denkbaren Implikationen sind nicht richtig, wie die folgenden Beispiele belegen:

Beispiel 8.1.3. Es sei (Ω, F, P) = ([0, 1], B[0,1] , λ).

(a) Es sei p > 0. Betrachte Xn = n1/p 1l[0,1/n] für n ∈ N. Dann gilt Xn → 0 fast sicher und in
Wahrscheinlichkeit, aber E(|Xn |p ) = 1 für alle n ∈ N, also konvergiert (Xn )n∈N nicht im
p-ten Mittel gegen X = 0.

(b) Ist n = 2m + k für m ∈ N0 und 0 ≤ k < 2m , so setzt man Xn = 1l[k2−m ,(k+1)2−m ] . Offenbar
konvergiert (Xn (ω))n∈N für kein ω ∈ Ω. Andererseits gelten P(|Xn | > ε) ≤ 2−m für jedes
ε > 0 und E(|Xn |p ) = 2−m für jedes p > 0. Also konvergiert (Xn )n∈N gegen X = 0 in
Wahrscheinlichkeit und im p-ten Mittel. 3

Unter einer Majorantenbedingung impliziert die fast sichere Konvergenz die Konvergenz im
p-ten Mittel:

Lemma 8.1.4. Sei (Xn )n∈N eine Folge von Zufallsgrößen, die fast sicher gegen eine Zufallsgröße
X konvergiert. Falls eine Zufallsgröße Y ∈ Lp (P) für ein p > 0 existiert, so dass |Xn | ≤ Y fast
sicher gilt, so gilt Xn → X im p-ten Mittel.

Beweis. Es gelten |Xn − X|p ≤ (|Xn | + |X|)p ≤ (2Y )p ≤ 2p Y p ∈ L1 (P) und |Xn − X|p → 0 fast
sicher. Also folgt aus dem Satz 6.1.8 von Lebesgue, dass E(|Xn − X|p ) → 0.
Eines der wichtigsten Hilfsmittel bei fast sicheren Konvergenzaussagen ist der folgende
Satz 8.1.5. Zunächst bemerken wir, dass für eine Folge (An )n∈N von Ereignissen An ∈ F die
Mengen
\ [ [ \
lim sup An = Am und lim inf An = Am (8.1.1)
n→∞ n→∞
n∈N m∈N : m≥n n∈N m∈N : m≥n

S
in F liegen.
T Offensichtlich fällt die Folge ( m∈N : m≥n Am )n∈N gegen lim supn→∞ An , und die
Folge ( m∈N : m≥n Am )n∈N steigt gegen lim inf n→∞ An . Man sieht leicht, dass

lim sup An = {ω ∈ Ω : ω ∈ An für unendlich viele n ∈ N},

n→∞
(8.1.2)
lim inf An = {ω ∈ Ω : ω ∈ An für fast alle n ∈ N}.
n→∞
8.1. KONVERGENZ VON ZUFALLSGRÖSSEN 117

Satz
P 8.1.5 (1. Borel-Cantelli-Lemma). Es sei (An )n∈N eine Folge von Ereignissen mit
n∈N P(An ) < ∞. Dann gilt P(lim supn→∞ An ) = 0.

S
Beweis. Sei Bm = k∈N : k≥m Ak . Wegen Bm ↓ lim supn→∞ An und Satz 6.1.9(a) und (b) gilt
∞
X
P lim sup An = lim P(Bm ) ≤ lim P(Ak ) = 0.
n→∞ m→∞ m→∞
k=m

Das 1. Borel-Cantelli-Lemma besitzt eine partielle Umkehrung, siehe Satz 8.1.10. Es folgen
ein paar Anwendungen des 1. Borel-Cantelli-Lemmas, zunächst auf das fast sichere asymptoti-
sche Verhalten von identisch verteilten Zufallsgrößen:
Lemma 8.1.6. Es sei (Xn )n∈N eine Folge identisch verteilter integrierbarer Zufallsgrößen. Dann
gilt limn→∞ Xn /n = 0 P-fast sicher.

Beweis. Es gilt
∞
n Xn oc [
lim =0 = lim sup{j |Xn | > n},
n→∞ n n→∞
j=1

denn eine Folge (yn )n∈N konvergiert genau dann nicht gegen Null, wenn es eine positive Zahl 1/j
mit j ∈ N gibt, so dass |yn | > 1/j für unendlich viele n gilt. Nach dem 1. Borel-Cantelli-Lemma
reicht es nun zu zeigen, dass für jedes j die Wahrscheinlichkeiten der Mengen {j |Xn | > n} über
n ∈ N summierbar sind. Man sieht leicht, dass dies gilt:
X X Z X
P(j |Xn | > n) = P(j |X1 | > n) = 1l{j |X1 |>n} dP ≤ j E(|X1 |) < ∞.
n∈N n∈N n∈N

Mit Hilfe von Satz 8.1.5 können wir hinreichende Kriterien für fast sichere Konvergenz
entlang einer Teilfolge angeben:
Satz 8.1.7. Sei (Xn )n∈N eine Folge von Zufallsgrößen, die in Wahrscheinlichkeit gegen eine
Zufallsgröße X konvergiert. Dann existiert eine Teilfolge (nk )k∈N , so dass Xnk → X für k → ∞
fast sicher.

Beweis. Zu jedem k ∈ N existiert nach Voraussetzung ein nk ∈ N mit P(|XP nk − X| > 1/k) ≤
1/k 2 . Wir können annehmen, dass (nk )k∈N strikt wachsend ist. Da die Reihe k∈N 1/k 2 konver-
giert, folgt P(lim supk→∞ {|Xnk − X| > 1/k}) = 0 nach Satz 8.1.5. Für ω ∈ / lim supk→∞ {|Xnk −
X| > 1/k} gilt |Xnk − X| ≤ 1/k für alle genügend großen k, also gilt limk→∞ Xnk (ω) = X(ω)
für alle ω, die nicht in der Nullmenge lim supk→∞ {|Xnk − X| > 1/k} liegen.
Alle drei Konvergenzbegriffe in Definition 8.1.1 sind vollständig. Dies ist klar für die fast
sichere Konvergenz, denn R ist vollständig. Die Vollständigkeit der Konvergenz im p-ten Mittel
beweisen wir nicht (wir haben sie in Satz 6.7.1 für p ≥ 1 erwähnt), siehe etwa [Ba91, Paragraf 15].
Für die Konvergenz in Wahrscheinlichkeit beweisen wir die Vollständigkeit nun mit Hilfe von
Satz 8.1.5:
118 KAPITEL 8. KONVERGENZBEGRIFFE

Satz 8.1.8. Sei (Xn )n∈N eine Folge von Zufallsgrößen mit

lim P(|Xn − Xm | > ε) = 0 für jedes ε > 0.

m,n→∞

Dann existiert eine Zufallsgröße X mit Xn → X in Wahrscheinlichkeit.

Beweis. Ähnlich wie im Beweis von Satz 8.1.7 wählt man eine Teilfolge (nk )k∈N mit

P(|Xnk − Xnk+1 | ≥ 1/k 2 ) ≤ 1/k 2 , k ∈ N.

Wie oben folgt aus dem 1. Borel-Cantelli-Lemma

P lim sup{|Xnk − Xnk+1 | ≥ 1/k 2 } = 0.
k→∞

Für ω ∈/ lim supk→∞ {|Xnk − Xnk+1 | ≥ 1/k 2 } ist (Xnk (ω))k∈N eine Cauchy-Folge in R. Wegen
dessen Vollständigkeit konvergiert diese Folge gegen ein X(ω) für diese ω, d. h. Xnk → X fast
sicher für k → ∞, nach Lemma 8.1.2 auch in Wahrscheinlichkeit. Für jedes ε > 0 gilt
ε ε
P(|Xm − X| > ε) ≤ P |Xm − Xnk | > + P |Xnk − X| > , m, k ∈ N.
2 2
Wählt man k als die kleinste Zahl mit nk ≥ m, so folgt limm→∞ P(|Xm − X| > ε) = 0.
Als eine weitere Anwendung des 1. Borel-Cantelli-Lemmas (Satz 8.1.5) beweisen wir eine
nicht optimale Version des Gesetzes der Großen Zahlen (siehe Korollar 10.2.22 für die übliche
Version, in der auf die Voraussetzung Xi ∈ L4 verzichtet wird):

Satz 8.1.9 (Starkes Gesetz der Großen Zahlen). Es sei (Xn )P n∈N eine Folge unabhängiger
identisch verteilter Zufallsgrößen Xn ∈ L . Dann gilt limn→∞ n nj=1 Xj = E(X1 ) fast sicher.
4 1

Beweis.
Pn Man sieht leicht, dass wir voraussetzen dürfen, dass E(X1 ) = 0 gilt. Wir kürzen Sn =
1 −1/8 }. Mit der Markov-Ungleichung
j=1 j ab und betrachten das Ereignis An = {| n Sn | ≥ n
X
(Satz 5.1.1) schätzen wir ab:
1
P(An ) ≤ n1/2 4 E(Sn4 ). (8.1.3)
n
Der Erwartungswert berechnet sich zu
n
X 4 n
X
E(Sn4 ) = E Xj =E Xj1 Xj2 Xj3 Xj4
j=1 j1 ,j2 ,j3 ,j4 =1
n
X n
X n
X
E(Xj4 ) E(Xi2 Xj2 ).

= E Xj1 Xj2 Xj3 Xj4 = +
j1 ,j2 ,j3 ,j4 =1 j=1 i,j=1
i6=j

Um die letzte Gleichung einzusehen, beachte man, dass alle Terme verschwinden, in denen ein
Index verschieden von den anderen ist, denn mit Hilfe der Unabhängigkeit kann man den entspre-
chenden Erwartungswert isolieren, und er ist Null nach unserer Voraussetzung. Also haben wir
E(Sn4 ) = nE(X 4 2 2 2
P1 )+n(n−1)E(X1 ) ≤ O(n ) für n → ∞. Setzt man dies in (8.1.3) ein, erhält man
sofort, dass n∈N P(An ) < ∞. Nach dem 1. Borel-Cantelli-Lemma ist P(lim supn→∞ An ) = 0.
8.1. KONVERGENZ VON ZUFALLSGRÖSSEN 119

Für jedes ω ∈ (lim supn→∞ An )c gilt für alle genügend großen n, dass | n1 Sn (ω)| < n−1/8 , also
konvergiert n1 Sn (ω) gegen Null.
Nun kommt die angekündigte partielle Umkehrung des 1. Borel-Cantelli-Lemmas:

Satz
P 8.1.10 (2. Borel-Cantelli-Lemma). Es seien A1 , A2 , A3 , . . . unabhängige Ereignisse mit
n∈N P(An ) = ∞. Dann gilt P(lim supn→∞ An ) = 1.

Beweis. Für jedes n ∈ N gilt

∞
[ ∞
\ k
\
P Am = 1 − P Acm = 1 − lim P Acm
k→∞
m=n m=n m=n
∞
Y ∞
Y
=1− P(Acm ) = 1 − (1 − P(Am )).
m=n m=n

Da die Reihe der P(Am ) divergiert, ist das Produkt ∞

Q
Qk Pk m=n (1 − P(Am )) gleich P
Null, denn für
k
S m=n (1 − P(Am )) = exp{ m=n log(1 − P(Am ))} ≤ exp{− m=n P(Am )}.
jedes k ≥ n gilt
Daher folgt P ∞ m=n Am = 1 für jedes n ∈ N. Also folgt die Aussage des Satzes, denn die
S∞
Mengen m=n Am fallen für n → ∞ gegen lim supn→∞ An .
Auf die Unabhängigkeit kann natürlich nicht verzichtet werden, wie man an der trivialen
Wahl An = A für alle n ∈ N mit 0 < P(A) < 1 sieht.
Wenn man unendlich viele unabhängige Versuche unternimmt, ein Ereignis mit positiver
Wahrscheinlichkeit zu erreichen, wird man unendlich oft Erfolg haben:

Beispiel 8.1.11. Wenn ein Affe auf einer Schreibmaschine unendlich oft auf unabhängige Weise
jede Taste mit gleicher Wahrscheinlichkeit bedient, dann ist die Wahrscheinlichkeit, dass er dabei
unendlich oft den gesamten Bibeltext schreibt, gleich Eins.
Denn sei I die Menge aller Tasten, und sei µ die Gleichverteilung auf I, dann hat das
Ergebnis der Bemühungen des Affen die Verteilung P = µ⊗N auf dem Folgenraum I N . Wenn
der Bibeltext die Länge b hat, so betrachten wir das Ereignis An , dass der unendlich lange Text
von der n-ten bis zur (n + b − 1)-ten Stelle genau den Bibeltext enthält. Die Ereignisse Abn mit
n ∈ N sind unabhängig, und ihre Wahrscheinlichkeit ist jeweils |I|−b . Also divergiert die Reihe
der P(An ), und das 2. Borel-Cantelli-Lemma impliziert die Aussage. 3

Eine weitere Anwendung des 2. Borel-Cantelli-Lemmas zeigt, dass es unmöglich ist, im

Starken Gesetz der Großen Zahlen auf die Integrierbarkeit der Summanden zu verzichten:

Lemma 8.1.12. Es sei (Xn )n∈N eine Folge unabhängiger identisch verteilter Zufallsgrößen, so
1 Pn
dass Yn = n j=1 Xj fast sicher gegen eine Zufallsvariable Y konvergiere. Dann ist jedes Xj
integrierbar, und es gilt Y = E(X1 ) fast sicher.

Beweis. Da ja Yn → Y fast sicher, konvergiert n1 Xn = Yn − n−1 n Yn−1 fast sicher gegen Null. Für
das Ereignis An = {|Xn | ≥ n} gilt also P(lim supn→∞ An ) = 0, denn das Ereignis An kann nicht
mit positiver Wahrscheinlichkeit für unendlich viele n eintreten. Wegen der Unabhängigkeit der
Xn ist auch die Folge der Ereignisse An unabhängig. Nach dem 2. Borel-Cantelli-Lemma gilt
120 KAPITEL 8. KONVERGENZBEGRIFFE

P
n∈N P(An ) < ∞. Wir schätzen ab:
Z ∞ Z
X n ∞
X
E(|X1 |) = P(|X1 | > t) dt = P(|X1 | > t) dt ≤ P(|X1 | ≥ n − 1)
(0,∞) n=1 n−1 n=1
∞
X ∞
X
=1+ P(|X1 | ≥ n) = 1 + P(An ) < ∞.
n=1 n=1

Also ist jedes Xj integrierbar. Nach dem Starken Gesetz der Großen Zahlen (hier müssen wir
Korollar 10.2.22 zitieren) ist Y fast sicher konstant gleich E(X1 ).
Mit gemeinsamer Hilfe der beiden Borel-Cantelli-Lemmata kann man die exakte limsup-
Asymptotik von Folgen unabhängiger Zufallsgrößen ermitteln. Wir beschränken uns auf einen
Spezialfall, den wir als eine Übungsaufgabe dem Leser überlassen:

Lemma 8.1.13. Für jede Folge unabhängiger, zum Parameter Eins exponentiell verteilter Zu-
fallsgrößen X1 , X2 , . . . gilt lim supn→∞ Xn / log n = 1 fast sicher.

Eine andere Übungsaufgabe ist der Beweis der Transienz der unsymmetrischen eindimen-
sionalen Irrfahrt:

Beispiel 8.1.14. Sei p ∈ (0, 1) \ { 21 }, und seien X1 , X2 , . . . unabhängige Zufallsgrößen, die die
Werte 1 und −1 mit Wahrscheinlichkeit p bzw. 1 − p annehmen. Dann nennt man die Folge der
Sn = X1 + · · · + Xn (wobei S0 = 0) eine unsymmetrische eindimensionale Irrfahrt. Diese Irrfahrt
ist transient in dem Sinn, dass sie den Ursprung mit Wahrscheinlichkeit Eins nur endlich oft
besucht. 3

Wir streifen einen Integrierbarkeitsbegriff, der enge Zusammenhänge mit L1 -Konvergenz

aufweist:

Definition 8.1.15 (gleichgradig integrierbar). Eine Familie (Xi )i∈I von Zufallsgrößen (mit
beliebiger Indexmenge I) heißt gleichgradig integrierbar oder uniform integrabel, falls

lim sup E[|Xi |1l{|Xi |>R} ] = 0.

R→∞ i∈I

Natürlich ist jede endliche Familie von integrierbaren Zufallsgrößen gleichgradig integrierbar,
und gleichgradige Integrierbarkeit überträgt sich leicht auf Summen, Differenzen und Teilfami-
lien. Es wird sich gleich herausstellen (und das ist wohl die wichtigste Eigenschaft der gleich-
gradigen Integrierbarkeit), dass die gleichgradige Integrierbarkeit es erlaubt, von Konvergenz in
Wahrscheinlichkeit auf L1 -Konvergenz zu schließen, also die Implikation von Satz 8.1.2(b) für
p = 1 zu einer Äquivalenz zu machen (wir erinnern an Beispiel 8.1.3). Wir bringen zunächst ein
notwendiges und hinreichendes Kriterium für gleichgradige Integrierbarkeit:

Lemma 8.1.16. Eine Familie (Xi )i∈I von Zufallsgrößen ist genau dann gleichgradig integrier-
bar, wenn supi∈I E[|Xi |] < ∞ gilt und es zu jedem ε > 0 ein δ > 0 gibt mit E[|Xi |1lA ] < ε für
jedes i ∈ I und jede messbare Menge A mit P(A) < δ.

Beweis. ‘=⇒’: Sei (Xi )i∈I gleichgradig integrierbar. Dann ist für jedes R > 0 natürlich E[|Xi |] ≤
E[|Xi |1l|Xi |>R ] + R, und der erste Summand verschwindet gleichmäßig in i ∈ I für R → ∞, also
8.1. KONVERGENZ VON ZUFALLSGRÖSSEN 121

ist die erste Bedingung im Lemma erfüllt. Ferner gilt für jede messbare Menge A und für jedes
R > 0 und i ∈ I:

E[|Xi |1lA ] ≤ E[|Xi |1l|Xi |>R ] + E[R1lA ] ≤ E[|Xi |1l|Xi |>R ] + RP(A).

Sei nun ε > 0 gegeben, dann wählen wir R so groß, dass E[|Xi |1l|Xi |>R ] < ε/2 für alle i ∈ I,
und danach wählen wir δ = ε/(2R). Dann gilt nämlich für jedes A mit P(A) < δ die gewünschte
Ungleichung supi∈I E[|Xi |1lA ] < ε, wovon man sich leicht überzeugt.
‘⇐=’: Sei ε > 0, und sei δ > 0 gewählt nach Voraussetzung. Dann gibt es ein R > 0, so
dass P(|Xi | > R) < δ für jedes i ∈ I, denn nach der Markov-Ungleichung gilt P(|Xi | > R) ≤
1 1
R E[|Xi |] ≤ R supj∈I E[|Xj |]. Also gilt für jedes i ∈ I und die Menge Ai = {|Xi | > R}, dass
E[|Xj |1lAi ] < ε für jedes j ∈ I, also auch für j = i. Dies zeigt die gleichgradige Integrierbarkeit
der Familie (Xi )i∈I .
Man zeigt als Übungsaufgabe, dass für jede integrierbare Zufallsgröße X und jede Familie
Φ von Teil-σ-Algebren von F die Familie der bedingten Erwartungswerte {E[X | G] : G ∈ Φ}
gleichgradig integrierbar ist.
Der Beweis des folgenden hinreichenden Kriteriums ist ebenfalls eine Übungsaufgabe:

Korollar 8.1.17. Eine Familie (Xi )i∈I von Zufallsgrößen ist gleichgradig integrierbar, wenn
eine Funktion H : [0, ∞) → [0, ∞) existiert mit limx→∞ H(x)/x = ∞ und supi∈I E[H(|Xi |)] <
∞.

Insbesondere ist jede Familie von Zufallsgrößen, die beschränkt in Lp (P) für ein p > 1 ist,
gleichgradig integrierbar.
Nun kommt der angekündigte Zusammenhang zwischen gleichgradiger Integrierbarkeit und
L1 -Konvergenz:

Lemma 8.1.18. Eine Folge (Xn )n∈N von integrierbaren Zufallsgrößen konvergiert genau dann
in L1 , wenn sie in Wahrscheinlichkeit konvergiert und gleichgradig integrierbar ist.

Beweis. ‘=⇒’: Sei (Xn )n∈N in L1 gegen eine Zufallsgröße X konvergent. Nach Lemma 8.1.2(b)
liegt auch Konvergenz in Wahrscheinlichkeit vor. Nun zeigen wir, dass (Xn )n∈N gleichgradig
integrierbar ist. Leicht ist zu sehen, dass K = supn∈N E[|Xn |] endlich ist. Sei ε > 0, and sei Nε ∈ N
gewählt mit E[|Xn − X|] ≤ ε/2 für alle n ≥ Nε . Da X integrierbar ist, ist {X} insbesondere
gleichgradig integrierbar. Nach Lemma 8.1.16 existiert ein δ > 0 mit E[|X|1lA ] < ε/2 für alle
messbaren Mengen A mit P(A) < δ. Nun wählen wir R so groß, dass R > 2K/δ. Dann können
wir die Eigenschaft von δ anwenden auf die Menge A = {|Xn | > R}, denn für alle n ≥ Nε folgt
mit Hilfe der Markov-Ungleichung, dass P(|Xn | > R) ≤ R1 E[|Xn |] ≤ δ. Also können wir für diese
n und R abschätzen:

E[|Xn |1l{|Xn |>R} ] ≤ E[|X − Xn |1l{|Xn |>R} ] + E[|X|1l{|Xn |>R} ] ≤ ε/2 + ε/2 = ε.

Nach eventueller Vergrößerung von R gilt die Ungleichung E[|Xn |1l{|Xn |>R} ] ≤ ε auch noch für
n = 1, . . . , Nε . Dies zeigt die gleichmäßige Integrierbarkeit.
‘⇐=’: Es gelte nun Xn → X in Wahrscheinlichkeit für eine Zufallsgröße X (die a priori
nicht integrierbar sein muss), und (Xn )n∈N sei gleichgradig integrierbar. Wir nehmen an, dass
122 KAPITEL 8. KONVERGENZBEGRIFFE

(Xn )n∈N nicht in L1 gegen X konvergiert. Dann gibt es ein ε > 0 und eine Teilfolge (Xnk )k∈N
mit E[|X − Xnk |] > 2ε für jedes k ∈ N.
Nach Satz 8.1.7 können wir annehmen, dass (Xnk )k∈N fast überall gegen X konvergiert.
Nach dem Lemma von Fatou haben wir E[|X|] ≤ lim inf k→∞ E[|Xnk |] < ∞, also ist X integrier-
bar. Auch die Folge (X − Xnk )k∈N ist gleichgradig integrierbar, also existiert ein R > 0 mit
E[|X − Xnk |1l{|X−Xnk |>R} ] < ε/2 für alle k ∈ N. Die Folge (|X − Xnk |1l{|X−Xnk |≤R} )k∈N hingegen
konvergiert fast sicher gegen Null und ist beschränkt durch R, also konvergiert ihr Erwartungs-
wert nach dem Satz von Lebesgue gegen Null. Zusammen ergibt dies für alle genügend großen
k, dass E[|X − Xnk |] ≤ ε im Widerspruch zur Annahme.

8.2 Schwache Konvergenz und der Satz von Prohorov

Einer der natürlichsten und meistbenutzten Konvergenzbegriffe für Maße ist der der schwachen
Konvergenz. In diesem Abschnitt führen wir ihn ein und charakterisieren ihn in verschiedener
Weise. Insbesondere geben wir das nützliche Kompaktheitskriterium von Prohorov.
Zunächst stellen wir fest, was es heißen soll, dass Maße gegen einander konvergieren. Dabei
ist es üblich, Maße auf einem metrischen Raum zu betrachten. Auf einem solchen betrachten wir
wie immer die Borel-σ-Algebra, also die von dem System der offenen Mengen erzeugte σ-Algebra,
siehe Bemerkung 6.4.7. Der meist benutzte Konvergenzbegriff ist der folgende.

Definition 8.2.1 (schwache Konvergenz). Es sei (E, d) ein metrischer Raum, und seien
P, P1 , P2 , P3 , . . . Wahrscheinlichkeitsmaße auf E. Wir sagen, dass Pn schwach für n → ∞ ge-
gen P konvergiert, und schreiben Pn =⇒ RP oder P = R w-limn→∞ Pn , wenn für jede beschränkte
stetige Funktion f : E → R gilt: limn→∞ f dPn = f dP.

w
Anstelle von =⇒ benutzt man auch →, wobei das ‘w’ an weak convergence erinnert. Im
Folgenden lassen wir den Term ‘schwach’ auch manchmal weg, denn wir werden nur diesen
Konvergenzbegriff für Maße benutzen. Im Folgenden bezeichnen wir die Menge der Wahrschein-
lichkeitsmaße auf E mit M1 (E) und die Menge der beschränkten stetigen Funktionen E → R
mit Cb (E).
Bemerkung 8.2.2. (i) In topologischer Sprechweise ist die Topologie der schwachen Kon-
vergenz, d. h.R die schwache Topologie, die gröbste Topologie auf M1 (E), sodass die Funk-
tionale P 7→ E f dP stetig sind für jedes beschränkte stetige f : E → R.
(ii) Falls E separabel ist, kann die schwache Topologie metrisiert werden mit der sogenannten
Prohorov-Metrik
%(P1 , P2 ) = inf{ε > 0 : P1 (A) ≤ P2 (Aε ) + ε und P2 (A) ≤ P1 (Aε ) + ε
für jedes messbare A ⊂ E},
wobei Aε = {x ∈ E : d(x, A) < ε} die offene ε-Umgebung von A ist; siehe etwa [Bi68].
(iii) Man kann diesen Konvergenzbegriff leicht auf die Menge aller endlichen signierten Maße
ausdehnen (was wir hier nicht machen wollen). Dann ist die schwache Topologie das, was
man in der Funktionalanalysis die Schwach-*-Topologie nennt, denn die Menge aller endli-
chen signierten Maße ist der Dualraum der Menge der beschränkten stetigen Funktionen.
8.2. SCHWACHE KONVERGENZ UND DER SATZ VON PROHOROV 123

(iv) Im Gegensatz zur schwachen Topologie, die ja durch die Integrale gegen alle beschränkten
stetigen Funktionen erzeugt wird, nennt man manchmal diejenige Topologie, die durch
Integrale gegen alle beschränkten messbaren Funktionen erzeugt wird, die starke Topologie.
Pn konvergiert dann also stark gegen P, wenn limn→∞ Pn (A) = P(A) für jede messbare
Menge A gilt. Allerdings ist dieser Begriff zu stark für die meisten Anwendungen; eine
starke Konvergenz liegt nur in ganz wenigen interessanten Fällen vor.
3

Die folgenden Beispiele verifiziert man als Übungsaufgaben.

Beispiel 8.2.3. (i) Eine Folge (xn )n∈N in E konvergiert genau dann gegen ein x ∈ E, wenn
die Folge der Diracmaße δxn gegen δx konvergiert.
1 Pn
(ii) Es sei E = R, dann konvergiert n i=1 δi/n gegen die Einschränkung des Lebesgue-Maßes
auf [0, 1].

(iii) Die Familie (δn )n∈N konvergiert nicht schwach.

(iv) Die Familie der gleichförmigen Verteilungen auf [−n, n] mit n ∈ N konvergiert nicht
schwach.
3

Wie bei jedem vernünftigen Konvergenzbegriff ist der schwache Grenzwert eindeutig:

Lemma 8.2.4 (Eindeutigkeit des schwachen Grenzwerts). Es sei (E, d) ein metrischer Raum,
und eine Folge (Pn )n∈N von Wahrscheinlichkeitsmaßen auf E schwach konvergent sowohl gegen
P als auch gegen P.
e Dann gilt P = P.
e

R R
Beweis. Wir haben also E f dP = E f dP e für jede beschränkte stetige Funktion f : E → R.
Wir zeigen, dass daraus folgt, dass P(A) = P(A)
e für jede abgeschlossene Teilmenge A von E gilt.
Dies beendet den Beweis, da die Menge der abgeschlossenen Mengen ein durchschnittstabiles
Erzeugendensystem der Borel-σ-Algebra ist, siehe den Eindeutigkeitssatz, bzw. Korollar 6.2.9.
Sei also A ⊂ E abgeschlossen, und sei ε > 0. Mit d(x, A) = inf{d(x, a) : a ∈ A} bezeichnen
wir den Abstand von x zur Menge A. Betrachte ϕ(r) = (r ∨0)∧1 für r ∈ R, dann ist ϕ stetig und
beschränkt. Daher ist auch die Funktion fε : E → [0, 1], definiert durch fε (x) = 1 − ϕ( 1ε d(x, A))
R R
stetig und beschränkt. Insbesondere gilt E fε dP = E fε dP e für jedes ε > 0. Die Funktion fε ist
konstant gleich 1 auf A und gleich Null außerhalb der ε-Umgebung von A. Ferner gilt fε ↓ 1lA für
ε ↓ 0, wofür wir die Abgeschlossenheit von A benutzen. Nach dem monotonen Konvergenzsatz
folgt Z Z Z Z
P(A) = 1lA dP = lim fε dP = lim fε dP
e= 1lA dP
e = P(A).
e
E ε↓0 E ε↓0 E E

Wir haben schwache Konvergenz mit Hilfe von Testintegralen gegen beschränkte stetige
Funktionen definiert. Aber man möchte natürlich auch gerne wissen, ob dann auch die Wahr-
scheinlichkeiten von Ereignissen konvergieren. Dies ist allerdings bei weitem nicht für alle Ereig-
nisse richtig:
124 KAPITEL 8. KONVERGENZBEGRIFFE

Bemerkung 8.2.5. Die Folge (δ1/n )n∈N der Punktmaße in 1/n konvergiert offensichtlich schwach
gegen das Punktmaß δ0 . Für die abgeschlossene Menge (−∞, 0] gilt allerdings
lim δ1/n ((−∞, 0]) = 0 < 1 = δ0 ((−∞, 0]),
n→∞

was man damit kommentieren kann, dass am Rande Masse ‘eingewandert’ ist. Analog ‘wandert’
aus offenen Mengen Masse ‘aus’, wie man an dem folgenden Beispiel sieht: limn→∞ δ1/n ((0, ∞)) =
1 > 0 = δ0 ((0, ∞)). Durch diese Eigenschaft werden wir gleich die schwachen Konvergenz
charakterisieren. 3

Es folgen Charakterisierungen der schwachen Konvergenz. Wir erinnern daran, dass eine
Funktion f : E → R Lipschitz-stetig heißt, wenn ein L > 0 existiert mit |f (x) − f (y)| ≤ Ld(x, y)
für alle x, y ∈ E. Mit Uf = {x ∈ E : f ist nicht stetig in x} bezeichnen wir die Menge aller
Unstetigkeitsstellen von f .1 Mit En bezeichnen wir den Erwartungswert bezüglich des Wahr-
scheinlichkeitsmaßes Pn .

Satz 8.2.6 (Portmanteau-Theorem). Es sei (E, d) ein metrischer Raum, und es seien P, P1 ,
P2 , P3 , . . . Wahrscheinlichkeitsmaße auf E. Dann sind folgende Aussagen äquivalent.
(i) Pn =⇒ P.

(ii) Für jede beschränkte Lipschitz-stetige Funktion f : E → R gilt limn→∞ En (f ) = E(f ).

(iii) Für jede beschränkte messbare Funktion f : E → R mit P(Uf ) = 0 gilt limn→∞ En (f ) =
E(f ).

(iv) Für jede abgeschlossene Menge F ⊂ E gilt lim supn→∞ Pn (F ) ≤ P(F ).

(v) Für jede offene Menge G ⊂ E gilt lim inf n→∞ Pn (G) ≥ P(G).

(vi) Für jede messbare Menge A ⊂ E mit P(∂A) = 0 gilt limn→∞ Pn (A) = P(A).

Beweis. Die trivialen bzw. leicht einzusehenden Richtungen sind (iv) ⇐⇒ (v) =⇒ (vi) und (iii)
=⇒ (i) =⇒ (ii). Also reicht es, nur noch (ii) =⇒ (iv) und (vi) =⇒ (iii) zu zeigen.
‘(ii) =⇒ (iv)’: Sei F ⊂ E abgeschlossen, und sei ε > 0. Wie im Beweis von Lemma 8.2.4
approximieren wir 1lF mit fε : E → [0, 1], definiert durch fε (x) = 1 − ϕ( 1ε d(x, F )), wobei ϕ : R →
[0, 1] durch ϕ(r) = (r ∨ 0) ∧ 1 definiert ist. Tatsächlich ist d(· , F ) sogar Lipschitz-stetig mit
Lipschitz-Konstante 1, wie man aus der Dreiecksungleichung folgert. Also ist die Abbildung fε
ebenfalls Lipschitz-stetig. Sie ist auf F konstant gleich 1 und hat den Wert 0 für alle x ∈ E
mit d(x, F ) ≥ ε. Wegen 1lF ≤ fε gilt Pn (F ) = En (1lF ) ≤ En (fε ), also lim supn→∞ Pn (F ) ≤
lim supn→∞ En (fε ) = E(fε ) für jedes ε > 0. Da fε ↓ 1lF für ε ↓ 0, folgt aus dem monotonen
Konvergenzsatz die Behauptung.
‘(vi) =⇒ (iii)’: Sei f : E → R beschränkt und messbar mit P(Uf ) = 0. Zunächst überlegt
man sich als eine (topologische) Übungsaufgabe, dass gilt:
∂f −1 (B) ⊂ f −1 (∂B) ∪ Uf , B ⊂ R. (8.2.1)
(Mit anderen Worten: Wenn man f anwendet auf einen Randpunkt des Urbilds von B und f
ist stetig in diesem Punkt, dann erhält man einen Randpunkt von B.)
1
Man kann sich als eine Übungsaufgabe klar machen, dass Uf messbar ist, wenn f messbar ist.
8.2. SCHWACHE KONVERGENZ UND DER SATZ VON PROHOROV 125

−1 > n1 }. Dann ist Cn eine endliche Menge, und die Vereini-

Sn = {y ∈ R : P(f ({y}))
Setze C
−1
gung C = n∈N Cn = {y ∈ R : P(f ({y})) > 0} ist abzählbar.
Sei ε > 0. Dann gibt es ein N ∈ N und y0 ≤ −kf k∞ < y1 < · · · < yN −1 < kf k∞ < yN , so
dass yi ∈ R \ C und |yi+1 − yi | < ε für alle i. Sei Ei = f −1 ([yi−1 , yi )) für i = 1, . . . , N . Dann ist
E die disjunkte Vereinigung der E1 , . . . , EN , und wegen (8.2.1) haben wir

P(∂Ei ) ≤ P(f −1 ({yi−1 })) + P(f −1 ({yi })) + P(Uf ) = 0, i = 1, . . . , N.

Daher gilt
N
X N
X
lim sup En (f ) ≤ lim sup yi Pn (Ei ) ≤ ε + lim sup yi−1 Pn (Ei )
n→∞ n→∞ n→∞
i=1 i=1
N
X
≤ε+ yi−1 P(Ei ) ≤ ε + E(f ).
i=1

Wir lassen ε ↓ 0 und erhalten lim supn→∞ En (f ) ≤ E(f ). Durch Übergang zu −f statt f erhalten
wir die komplementäre Ungleichung, die den Beweis beendet.

Bemerkung 8.2.7. Als eine Übungsaufgabe gebe man einen direkten Beweis der Implikation
(vi) =⇒ (v). (Hinweis: Man betrachte Gδ = {x ∈ G : d(x, Gc ) > δ} für eine geeignete Folge von
δ ↓ 0.) 3

Mit Hilfe der schwachen Konvergenz erhalten wir (hinzu zu den Begriffen in Definition 8.1.1)
einen weiteren Konvergenzbegriff für Zufallsgrößen:

Bemerkung 8.2.8 (Verteilungskonvergenz). Wir sagen, dass eine Folge (Xn )n∈N von E-wertigen
Zufallsgrößen schwach gegen eine Zufallsgröße X konvergiert, wenn die jeweiligen Verteilungen
dies tun, und dann schreiben wir auch Xn =⇒ X. Hierzu sagt man auch, dass die Folge der
Zufallsgrößen in Verteilung konvergiert. Daher nennt man diesen Begriff auch oft die Vertei-
lungskonvergenz. Es gilt also Xn =⇒ X genau dann, wenn limn→∞ E(f (Xn )) = E(f (X)) für jede
D L
beschränkte stetige Funktion f gilt.2 Man benutzt auch die Notation Xn → X oder Xn → X,
wobei ‘D’ und ‘L’ an distribution bzw. an law erinnern. 3

Wir möchten die Beziehung der Verteilungskonvergenz zur Konvergenz in Wahrscheinlich-

keit klären. Letzteren Begriff möchten wir daher auf beliebige E-wertige Zufallsgrößen ausdeh-
nen. Es scheint klar, wie man ihn definieren muss: Eine Folge von E-wertigen Zufallsgrößen
X1 , X2 , . . . konvergiert in Wahrscheinlichkeit gegen eine Zufallsgröße X, wenn für jedes ε > 0
gilt: limn→∞ P(d(Xn , X) > ε) = 0. Obwohl das ganz harmlos klingt, gibt es einen Haken an
dieser Definition: Das Ereignis {d(Xn , X) > ε} muss gar nicht messbar sein! Zwar ist klar, dass
(Xn , X) eine E × E-wertige Zufallsgröße ist und damit messbar bezüglich dem Produkt BE ⊗ BE
der Borel-σ-Algebra auf E. Ferner ist leicht zu zeigen, dass d : E × E → [0, ∞) stetig ist. Aber
aus Letzterem folgt nur, dass d messbar ist bezüglich der Borel-σ-Algebra BE×E auf E × E.
Falls also BE×E = BE ⊗ BE gilt, so ist die Abbildung d(Xn , X) eine Zufallsgröße, also messbar.
Dies gilt jedoch im Allgemeinen nur, wenn E separabel ist:

Lemma 8.2.9. Wenn E separabel ist, so gilt BE×E = BE ⊗ BE .

2
Warnung: Hier ist P kein Maß auf E, sondern auf irgendeinem abstrakten messbaren Raum. Es handelt sich
dann um die schwache Konvergenz der Bildmaße P ◦ Xn−1 auf E.
126 KAPITEL 8. KONVERGENZBEGRIFFE

Beweisskizze. Wir benötigen keine Separabilität, um zu zeigen, dass BE ⊗ BE ⊂ BE×E gilt,

denn für je zwei offene Mengen A, B ⊂ E ist A × B offen in E × E, und BE ⊗ BE wird ja per
Definition von diesen Kreuzprodukten erzeugt.
Wenn E separabel ist, so gibt es eine abzählbare Basis (Ui )i∈N der Topologie auf E, d. h. jede
offene Menge in E ist eine Vereinigung von geeigneten dieser Ui . Per Definition der Produkt-
Topologie ist dann (Ui × Uj )i,j∈N eine Basis der Topologie auf E × E. Also ist jede offene Menge
in E × E eine Vereinigung von geeigneten dieser Ui × Uj und liegt damit auch in BE ⊗ BE .
Wenn wir voraussetzen, dass E separabel ist, können wir also problemlos von Konvergenz
in Wahrscheinlichkeit E-wertiger Zufallsgrößen sprechen. Klären wir also den Zusammenhang
mit Verteilungskonvergenz:
Bemerkung 8.2.10 (Konvergenz in Verteilung und in Wahrscheinlichkeit). Es sei E ein sepa-
rabler metrischer Raum.

(i) Wenn eine Folge von E-wertigen Zufallsgrößen Xn in Wahrscheinlichkeit gegen eine Zu-
fallsgröße X konvergiert, so gilt auch Xn =⇒ X. Dies zeigen wir mit Hilfe des Kriteriums
(ii) im Portmanteau-Theorem: Für jede beschränkte Lipschitz-stetige Funktion f : E → R
mit Lipschitz-Konstante L und für jedes ε > 0 gilt

E[f (Xn )] − E[f (X)] ≤ E |f (Xn ) − f (X)|1ld(Xn ,X)≤ε + 2kf k∞ P(d(Xn , X) > ε)
≤ Lε + 2kf k∞ P(d(Xn , X) > ε),

und dies konvergiert gegen Lε für n → ∞. Da die linke Seite nicht von ε abhängt, folgt
limn→∞ E[f (Xn )] = E[f (X)], also die schwache Konvergenz von Xn gegen X.

(ii) Die Umkehrung der Aussage in (i) gilt, falls die Limes-Zufallsgröße X fast sicher konstant
ist (Übungsaufgabe), aber nicht im Allgemeinen: Wenn zum Beispiel die Zufallsgrößen
X, X1 , X2 , . . . unabhängig und identisch verteilt sind mit einer nichttrivialen Verteilung,
so konvergiert (Xn )n∈N trivialer Weise in Verteilung gegen X, aber nicht in Wahrschein-
lichkeit.

Verteilungskonvergenz überträgt sich auf Bilder unter fast überall stetigen Funktionen. Das
folgende Ergebnis wird auch Continuous mapping theorem genannt.
Lemma 8.2.11. Es seien (E1 , d1 ) und (E2 , d2 ) zwei metrische Räume und h : E1 → E2 eine
Borel-messbare Funktion, so dass die Unstetigkeitsmenge Uh messbar sei.

(a) Seien P, P1 , P2 , P3 , . . . Wahrscheinlichkeitsmaße auf E1 mit P(Uh ) = 0 und Pn =⇒ P.

Dann gilt Pn ◦ h−1 =⇒ P ◦ h−1 .

(b) Sei E1 = E2 = R, und seien X, X1 , X2 , X3 , . . . Zufallsgrößen mit P(X ∈ Uh ) = 0 und

Xn =⇒ X. Dann gilt auch h(Xn ) =⇒ h(X).

Beweis. Der Beweis von (a) ist eine elementare Übungsaufgabe mit Hilfe des Portmanteau-
Theorems, und (b) ist nur eine Umformulierung.
Für Verteilungsfunktionen gibt es natürlich auch einen Konvergenzbegriff, der gut mit der
schwachen Konvergenz der zugehörigen Maße zusammenpasst:
8.2. SCHWACHE KONVERGENZ UND DER SATZ VON PROHOROV 127

Definition 8.2.12 (schwache Konvergenz von Verteilungsfunktionen). Seien F bzw. F1 , F2 , . . .

Verteilungsfunktionen von Wahrscheinlichkeitsmaßen auf R. Wir sagen, (Fn )n∈N konvergiert
schwach gegen F , und wir schreiben Fn =⇒ F oder F = w-limn→∞ Fn , falls F (x) = limn→∞ Fn (x)
für alle x ∈ R gilt, in denen F stetig ist.

Bemerkung 8.2.13. Verteilungsfunktionen von Wahrscheinlichkeitsmaßen können natürlich

auch gegen Funktionen konvergieren, die keine solchen mehr sind; es kann Masse verschwinden.
Wenn zum Beispiel G die Verteilungsfunktion eines Wahrscheinlichkeitsmaßes ist und Fn (x) =
G(x+n) ihre Verschiebung um n, so konvergiert zwar Fn in allen Punkten, aber dennoch nicht im
Sinne der Definition 8.2.12, denn der Limes ist konstant. Das Gleiche gilt für die Verschiebungen
Fn (x) = G(x − n).
Falls F, F1 , F2 , . . . Verteilungsfunktionen von endlichen Maßen mit Gesamtmasse ≤ 1 sind
(sogenannten Subwahrscheinlichkeitsmaßen), dann sagen wir, dass (Fn )n∈N schwach gegen F
konvergiert, wenn F (x) = limn→∞ Fn (x) für alle x ∈ R gilt, in denen F stetig ist, und zusätz-
lich noch F (∞) − F (−∞) ≥ lim supn→∞ (Fn (∞) − Fn (−∞)) gilt. (Hierbei haben wir natürlich
F (∞) = limx→∞ F (x) usw. gesetzt.) 3

Lemma 8.2.14. Es seien P und (Pn )n∈N eine Folge von Wahrscheinlichkeitsmaßen auf R mit
zugehörigen Verteilungsfunktionen F und (Fn )n∈N . Dann konvergiert Pn genau dann schwach
gegen P, wenn Fn schwach gegen F konvergiert.

Beweis.‘=⇒’: Sei F in x ∈ R stetig. Dann ist P(∂(−∞, x]) = P({x}) = 0. Also folgt aus dem
Portmanteau-Theorem 8.2.6(vi), dass limn→∞ Fn (x) = limn→∞ Pn ((−∞, x]) = P((−∞, x]) =
F (x).
‘⇐=’: Nach dem Portmanteau-Theorem 8.2.6(ii)R reicht es zuRzeigen, dass für jede beschränkte
Lipschitz-stetige Funktion f : R → R gilt: limn→∞ R f dPn = R f dP. Ohne Beschränkung der
Allgemeinheit wählen wir eine Lipschitz-stetige Funktion f : R → [0, 1] mit Lipschitz-Konstante
1. Sei ε > 0. Wir wählen N ∈ N und N + 1 Stetigkeitspunkte y0 < y1 < · · · < yN von
F , so dass F (y0 ) < ε, F (yN ) > 1 − ε und yi − yi−1 < ε für jedes i = 1, . . . , N . Wir teilen
den Integrationsbereich R auf in (−∞, y0 ], die Intervalle zwischen den yi und [yN , ∞). Auf
den Intervallen [yi−1 , yi ] schätzen wir f ab gegen sup[yi−1 ,yi ] f und dies mit Hilfe der Lipschitz-
Konstante Eins gegen f (yi ) + ε. Wenn wir noch beachten, dass f ≤ 1 gilt, erhalten wir
Z N
X
f dPn ≤ Fn (y0 ) + (f (yi ) + ε)(Fn (yi ) − Fn (yi−1 )) + 1 − Fn (yN ).
R i=1

Nach Voraussetzung gilt limn→∞ Fn (yi ) = F (yi ) für jedes i = 0, . . . , N , also folgt
Z N
X Z
lim sup f dPn ≤ 3ε + f (yi )(F (yi ) − F (yi−1 )) ≤ 4ε + f dP.
n→∞ R R
i=1
R R
Also haben wir lim supn→∞ R f dPn ≤ R f dP. Indem wir f durch 1 − f ersetzen, folgt die
komplementäre Ungleichung, und dies beendet den Beweis.
Schwache Konvergenz von Verteilungsfunktionen wird nicht nur nützlich sein beim Beweis
des Satzes von Prohorov, sondern gibt uns ein weiteres nützliches Kriterium in die Hand, schwa-
che Konvergenz zu zeigen:
128 KAPITEL 8. KONVERGENZBEGRIFFE

Beispiel 8.2.15. Ein berühmtes Beispiel einer schwachen Konvergenz ist der Satz von Moivre-
Laplace (siehe Satz 5.2.5), der Folgendes besagt. Wenn (Xn )n∈N eine Folge unabhängiger, zum
Parameter p ∈ (0, 1) Bernoulli-verteilter Zufallsgrößen ist (also P(Xn = 1) = 1 − P(Xn = 0) = p
und insbesondere E(Xn ) = p und V(Xn ) = p(1 − p)), dann gilt für alle t ∈ R:
n Z t
1 X Xi − E(Xi ) 1 2
lim P √ p ≤t = √ e−x /2 dx = N ((−∞, t]).
n→∞ n V(Xi ) 2π −∞
i=1

Mit anderen Worten, die Verteilungsfunktion der standardisierten Summe n−1/2 ni=1 X
P ei mit
p
Xei = (Xi −E(Xi ))/ V(Xi ) konvergiert punktweise gegen die Verteilungsfunktion der Standard-
Normalverteilung N . Dies ist aber schon die schwache Konvergenz dieser Verteilungsfunktionen.
Aus Satz 8.2.14 folgt die schwache Konvergenz n−1/2 ni=1 X
P ei =⇒ N . Eines unserer Haupter-
gebnisse wird eine Version der obigen Aussage für beliebige Verteilungen an Stelle der Bernoulli-
Verteilung sein, und dies ist der Zentrale Grenzwertsatz. 3

Nun wenden wir uns der Frage zu, unter welchen Umständen eine gegebene Folge von
Wahrscheinlichkeitsmaßen schwach konvergiert, genauer gesagt, unter welchen Umständen sie
mindestens eine schwach konvergente Teilfolge besitzt.3 An dem simplen Beispiel (δn )n∈N der
Punktmaße in n ∈ N sieht man, dass mindestens eine Bedingung gestellt werden muss, die
verhindert, dass die Masse nach Unendlich abwandert. Der folgende Begriff tut genau dies.

Definition 8.2.16 (Straffheit). Eine beliebige Familie (Pi )i∈I von Wahrscheinlichkeitsmaßen
auf einem metrischen Raum (E, d) heißt straff, falls zu jedem ε > 0 eine kompakte Menge
K ⊂ E existiert mit Pi (K c ) < ε für jedes i ∈ I.

Natürlich überträgt sich Straffheit auf Teilmengen und auf endliche Vereinigungen, aber
es ist a priori nicht klar, ob endliche Mengen straff sind (außer in polnischen Räumen; siehe
Lemma 8.2.18).

Bemerkung 8.2.17. (i) Ist E kompakt, so ist die Menge aller Wahrscheinlichkeitsmaße auf
E straff.

(ii) Falls eine Familie (Xi )i∈I von Zufallsgrößen L1 -beschränkt ist (d. h. supi∈I E[|Xi |] < ∞
gilt), so ist die Menge ihrer Verteilungen straff, wie man als eine Übungsaufgabe zeigt.

(iii) Die Familie (δn )n∈N ist nicht straff.

(iv) Die Familie der gleichförmigen Verteilungen auf [−n, n] mit n ∈ N ist nicht straff.

(v) Sei E ein metrischer Raum und A ⊂ E. Dann ist {δa : a ∈ A} genau dann straff, wenn A
relativkompakt ist (d. h. A kompakt). 3

Lemma 8.2.18. Falls E polnisch ist, so ist jede einelementige Familie von Wahrscheinlich-
keitsmaßen auf E straff, also auch jede endliche.

Beweis. Sei P ein Wahrscheinlichkeitsmaß auf E. S Sei ε > 0.(n)Da E separabel ist, gibt es zu jedem
n ∈ N Elemente x1(n) , x2(n) , · · · ∈ E, so dass E = ∞
i=1 B 1/n (x i ), wobei B1/n die offene 1/n-Kugel
3
Man sagt in diesem Falle, sie sei schwach relativ folgenkompakt.
8.2. SCHWACHE KONVERGENZ UND DER SATZ VON PROHOROV 129

ist. Wähle Nn ∈ N so, dass P(E \ N

S n (n) −n . Die Menge A =
T SN n (n)
i=1 B1/n (xi )) < ε2 n∈N i=1 B1/n (xi )
ist nach Konstruktion total beschränkt4 . Wegen Vollständigkeit von E ist A kompakt. Außerdem
c
erfüllt sie P(A ) ≤ P(E \ A) < n∈N ε2−n = ε.
P

Beispiel 8.2.19. Eine Familie {Nµ,σ2 : (µ, σ 2 ) ∈ L} von Normalverteilungen auf R ist genau
dann straff, wenn die Indexmenge L ⊂ R × (0, ∞) beschränkt ist. (Übungsaufgabe.) 3

Beispiel 8.2.20. Sei (Xi )i∈I eine Familie von nichtnegativen Zufallsgrößen mit E[Xi ] = 1
für jedes Ri ∈ I. Für i ∈ I betrachten wir die Wahrscheinlichkeitsmaße Pi auf R, die durch
Pi (A) = A x P ◦ Xi−1 (dx) für A ∈ B gegeben ist. (Man nennt Pi auch die größenverzerrte
Verteilung zu Xi .) Als Übungsaufgabe zeige man, dass (Pi )i∈I genau dann straff ist, wenn
(Xi )i∈I gleichgradig integrierbar ist. 3

Nun kommen wir zum Hauptergebnis zu der Frage, wann man aus einer Familie von Wahr-
scheinlichkeitsmaßen eine schwach konvergente Teilfolge extrahieren kann.

Satz 8.2.21 (Satz von Prohorov). Sei (E, d) ein metrischer Raum und M ⊂ M1 (E).

(i) Falls M straff ist, so auch schwach relativ folgenkompakt.

(ii) Sei nun E zusätzlich polnisch. Dann ist M straff, wenn M schwach relativ folgenkompakt
ist.

Korollar 8.2.22. Wenn E ein kompakter metrischer Raum ist, ist die Menge aller Wahrschein-
lichkeitsmaße auf E schwach folgenkompakt.

Satz 8.2.21(ii) gilt nicht in allgemeinen metrischen Räumen, denn zum Beispiel sind einele-
mentige Familien immer schwach folgenkompakt, aber nur unter Zusatzvoraussetzungen auch
straff, siehe etwa Lemma 8.2.18. Die weitaus nützlichere Aussage des Satzes von Prohorov (und
die deutlich schwieriger zu beweisende) ist die in (i), denn man steht immer wieder vor der Auf-
gabe, aus einer Folge von Wahrscheinlichkeitsmaßen eine konvergente Teilfolge zu extrahieren.
Siehe etwa Beispiel 8.2.24. Eine wichtige Rolle wird die Aussage (i) auch in unserer Konstruktion
der Brown’schen Bewegung in Kapitel 11 spielen. Den Beweis von Satz 8.2.21(i) werden wir nur
für E = R durchführen. Für den allgemeinen Beweis siehe etwa [Bi68].
Beweis von Satz 8.2.21(ii). Sei M ⊂ M1 (E) schwach relativ folgenkompakt. SN Wir wählen eine
abzählbare dichte Teilmenge {x1 , x2 , . . . } von E. Für n ∈ N sei An,N = i=1 B1/n (xi ), dann gilt
An,N ↑ E für N → ∞. Setze
δ = sup inf sup P(Acn,N ).
n∈N N ∈N P∈M

Dann gibt es ein n ∈ N, so dass für jedes N ∈ N ein PN ∈ M existiert mit PN (Acn,N ) ≥ δ/2.
Nach Voraussetzung besitzt (PN )N ∈N eine schwach konvergente Teilfolge (PNk )k∈N mit einem
Grenzwert P. Nach dem Portmanteau-Theorem gilt für jedes N ∈ N

P(Acn,N ) ≥ lim sup PNk (Acn,N ) ≥ lim inf PNk (Acn,Nk ) ≥ δ/2.
k→∞ k→∞

4
Eine Menge A heißt total beschränkt oder präkompakt, falls sie zu jedem ε > 0 mit endlich vielen Kugeln
vom Radius ε überdeckt werden kann. In vollständigen metrischen Räumen fallen die Begriffe ‘präkompakt’ und
‘relativkompakt’ zusammen.
130 KAPITEL 8. KONVERGENZBEGRIFFE

Andererseits gilt Acn,N ↓ ∅ für N → ∞, also P(Acn,N ) → 0. Dies zeigt, dass δ = 0.

Sei nun ε > 0 beliebig. Nach dem Obigen können wir zu jedem n ∈ N ein Nn0 ∈ N wählen, so
c −n
T
dass P(An,Nn0 ) < ε2 für jedes P ∈ M gilt. Die Menge A = n∈N An,Nn0 ist nach Konstruktion
total beschränkt, also relativ kompakt. Ferner gilt für jedes P ∈ M
X
P((A)c ) ≤ P(Ac ) ≤ P(Acn,Nn0 ) ≤ ε.
n∈N

Also ist M straff.

Nun wollen wir Satz 8.2.21(i) beweisen, zumindest im Fall E = R. Im Laufe des Bewei-
ses muss man sich einen Kandidaten für einen schwachen Grenzwert entlang einer geeigneten
Teilfolge verschaffen. Im Fall E = R ist dies nach Lemma 8.2.14 das selbe Problem, wie einen
schwachen Limespunkt einer Folge von Verteilungsfunktionen zu konstruieren. Diesen Punkt des
Beweises wird uns der Auswahlsatz von Helly leisten.

Satz 8.2.23 (Helly’scher Auswahlsatz). Sei (Fn )n∈N eine Folge von Verteilungsfunktionen R →
[0, 1]. Dann gibt es eine Teilfolge (nk )k∈N und eine rechtsstetige steigende Funktion F : R → [0, 1],
sodass Fnk schwach für k → ∞ gegen F konvergiert.

Beweis. Der Beweis beruht auf einem gewöhnlichen Diagonalfolgenargument. Sei Q = {qn : n ∈
N} eine Abzählung von Q. Nach dem Satz von Bolzano-Weierstraß besitzt die beschränkte Folge
(Fn (q1 ))n∈N eine konvergente Teilfolge (Fn(1) (q1 ))k∈N . Aus dem gleichen Grund finden wir eine
k
Teilfolge (n(2) (1)
k )k∈N von (nk )k∈N , so dass auch (Fn(2) (q2 ))k∈N konvergiert. Iterativ erhalten wir
k
für jedes i ∈ N eine Teilfolge (n(i+1)
k )k∈N von (n(i)
k )k∈N , sodass (Fn(i+1) (qi+1 ))k∈N konvergiert. Nun
k
betrachten wir die Teilfolge nk = nk(k) und wissen, dass (Fnk (q))k∈N für jedes q ∈ Q gegen ein
F (q) ∈ [0, 1] konvergiert. Wir setzen F von Q auf R fort, indem wir setzen

F (x) = inf{F (q) : q ∈ Q mit q > x}, x ∈ R \ Q.

Natürlich ist F : R → [0, 1] rechtsstetig und steigend. Nun müssen wir noch zeigen, dass (Fnk )k∈N
schwach gegen F konvergiert.
Sei F stetig in x ∈ R, und sei ε > 0. Dann gibt es q − , q + ∈ Q mit q − < x < q + und
F (q − ) ≥ F (x) − ε und F (q + ) ≤ F (x) + ε. Nach Konstruktion ist dann

lim sup Fnk (x) ≤ lim Fnk (q + ) = F (q + ) ≤ F (x) + ε.

k→∞ k→∞

Also ist lim supk→∞ Fnk (x) ≤ F (x). Analog erhält man auch, dass lim inf k→∞ Fnk (x) ≥ F (x).
Also konvergiert (Fnk )k∈N schwach gegen F .
Man beachte, dass die Limesfunktion F in Hellys Satz nicht die Verteilungsfunktion eines
Wahrscheinlichkeitsmaßes sein muss. Wir erinnern an das Verschiebungsbeispiel Fn (x) = G(x −
n) von Bemerkung 8.2.13.
Beweis von Satz 8.2.21(i) im Fall E = R. Sei M ⊂ M1 (R) eine straffe Familie von Wahr-
scheinlichkeitsmaßen, und sei (Pn )n∈N eine Folge in M mit zugehörigen Verteilungsfunktionen
(Fn )n∈N . Nach dem Satz 8.2.23 von Helly konvergiert eine Teilfolge (Fnk )k∈N von (Fn )n∈N
schwach gegen eine rechtsstetige steigende Funktion F : R → [0, 1].
8.2. SCHWACHE KONVERGENZ UND DER SATZ VON PROHOROV 131

Wir müssen noch zeigen, dass F die Verteilungsfunktion eines Wahrscheinlichkeitsmaßes ist,
denn dann folgt die Aussage aus Lemma 8.2.14. Wegen der Straffheit von M existiert zu jedem
ε > 0 ein R ∈ (0, ∞) mit Fn (∞) − Fn (x) < ε und Fn (−x) − Fn (−∞) < ε für alle n ∈ N und
alle x > R. Dies nutzen wir für ein x > R aus, sodass sowohl x als auch −x eine Stetigkeits-
stelle für F sind (dies ist möglich, da F nur höchstens abzählbar viele Unstetigkeitsstellen, also
Sprungstellen, haben kann). Dann folgt

1 = lim sup Fnk (∞) − Fnk (−∞) ≤ 2ε + lim sup Fnk (x) − Fnk (−x)
k→∞ k→∞
= 2ε + F (x) − F (−x) ≤ 2ε + F (∞) − F (−∞).
Also ist F (∞) − F (−∞) = 1 und der Beweis beendet.
Eine typische Anwendung des Satzes von Prohorov ist die folgende.
Beispiel 8.2.24 (Variationsproblem). Die Aussage (i) im Satz von Prohorov ist nützlich, wenn
man zeigen möchte, dass das Variationsproblem
Z
V = inf
R x2 P(dx)
P∈M1 (R) : x P(dx)=1

einen Minimierer
R besitzt, wobei das
R Infimum über alle Wahrscheinlichkeitsmaße P mit den Ei-
genschaften |x| P(dx) < ∞ und x P(dx) = 1 geht.
Dies zeigen wir wie
R folgt. Sei (Pn )n∈N eine Folge von approximativen
R 2 Minimierern, also eine
Folge in M1 (R) mit x Pn (dx) = 1 für jedes n und limn→∞ x Pn (dx) = V . Insbesondere gibt
es ein C > 0 mit x2 Pn (dx) ≤ C für jedes n ∈ N. Die Folge (Pn )n∈N ist straff, denn für jedes
R

R > 0 und jedes n ∈ N gilt nach der Markov-Ungleichung

Z Z
c 1 C
Pn ([−R, R] ) = 1l{|x|>R} Pn (dx) ≤ 2 x2 Pn (dx) ≤ 2 .
R R R
Nach dem Satz von Prohorov gibt es eine Teilfolge (nk )k∈N , so dass Pnk =⇒ P für ein P ∈
M1 (R). Nun zeigen wir, dass dieses P ein Minimierer
R 2 des Variationsproblems ist. Dazu muss
Rgezeigt werden, dass (i) P optimal ist, also x P(dx) = V erfüllt, und (ii) P zulässig ist, also
x P(dx) = 1 erfüllt.
Der erste Punkt ergibt sich daraus, dass für jedes R > 0 wegen der schwachen Konvergenz
gilt: Z Z Z
2 2
x ∧ R P(dx) = lim x ∧ R Pn (dx) ≤ lim x2 Pn (dx) ≤ V,
n→∞ n→∞

wobei wir benutzt haben, dass die Abbildung x 7→ x2 ∧ R beschränkt und stetig ist. Mit R → ∞
ergibt sich (i).
Den zweiten Punkt zeigt man in zwei Schritten, indem man zunächst bemerkt, dass für jedes
R > 0 gilt Z Z Z
lim inf |x| Pn (dx) ≥ lim inf |x| ∧ R Pn (dx) = |x| ∧ R P(dx),
n→∞ n→∞
R R
also lim inf n→∞
R |x| Pn (dx)R≥ |x| P(dx). Um zu sehen, dass auch die komplementäre Aussage,
lim supn→∞ |x| Pn (dx) ≤ |x| P(dx), gilt, muss man nur zeigen, dass man beim ‘≥’ in der
obigen Rechnung asymptotisch nichts verloren hat. Dies ergibt sich aus der Abschätzung
Z Z Z
2 2C
sup |x| − |x| ∧ R Pn (dx) ≤ 2 sup |x|1l|x|>R Pn (dx) ≤ sup x2 Pn (dx) ≤ .
n∈N n∈N n∈N R R
132 KAPITEL 8. KONVERGENZBEGRIFFE

R R
Also haben wir gezeigt, dass limn→∞ |x| Pn (dx) = |x| P(dx) gilt. Auf ähnliche Weise (etwa
durch Zerlegung
R des Integrationsbereichs in (−∞, 0] und [0, ∞)) zeigt man, dass wir auch haben:
3
R
1 = limn→∞ x Pn (dx) = x P(dx), d. h. dass (ii) gilt.

Mit Hilfe des Satzes von Prohorov kann man die schwache Konvergenz auf eine sehr nützliche
Weise charakterisieren. Hinzu zur Straffheit muss man nur noch prüfen, ob die Integrale gegen
eine genügend große Klasse von stetigen beschränkten Funktionen konvergieren. Was ‘genügend
groß’ heißen soll, definieren wir zunächst:

Definition 8.2.25 (trennende Familie). Wir nennen eine Teilmenge C der Menge der beschränk-
ten stetigen Funktionen E → R trennend, falls die folgende Implikation für je zwei Wahrschein-
lichkeitsmaße P1 und P2 gilt:
Z Z
f dP1 = f dP2 für alle f ∈ C =⇒ P1 = P2 .
E E

Ein Wahrscheinlichkeitsmaß ist also durch die Integrale gegen alle Mitglieder einer tren-
nenden Famile schon eindeutig festgelegt. Zum Beispiel ist die Menge aller Lipschitz-stetigen
Funktionen f : E → [0, 1] trennend, wie man sich als eine Übungsaufgabe überlegt.

Satz 8.2.26. Sei (E, d) ein polnischer Raum und (Pn )n∈N eine Folge von Wahrscheinlichkeits-
maßen auf E. Dann konvergiert (Pn )n∈N genau dann schwach gegen ein Wahrscheinlichkeits-
maß P auf E, wennR (Pn )n∈N straff
R ist und es eine trennende Familie C gibt, so dass für jedes
f ∈ C gilt: limn→∞ E f dPn = E f dP.

Beweis. Die Richtung ‘=⇒’ ist klar, da Straffheit aus Konvergenz folgt und da C eine Menge
von beschränkten stetigen Funktionen ist. Die Richtung ‘⇐=’ folgt daraus, dass ja auf Grund des
Satzes von Prohorov jede Teilfolge von (Pn )n∈N ihrerseits eine Teilfolge hat, die schwach gegen ein
Wahrscheinlichkeitsmaß konvergiert, das durch die Integrale gegen alle Mitglieder von C schon
eindeutig festgelegt wird, unabhängig von der Teilfolge. Also stimmen alle Häufungspunkte von
(Pn )n∈N miteinander überein, d. h., die Folge konvergiert.

8.3 Charakteristische Funktionen und der Zentrale Grenzwert-

satz
In diesem Abschnitt geben wir unter Anderem einen Beweis des berühmten Zentralen Grenz-
wertsatzes, den wir schon in Satz 5.2.2 formulierten. Dieser besagt ja, dass die Verteilung von
− 21 Pn
n i=1 Xi gegen die Standardnormalverteilung konvergiert, wenn (Xn )n∈N eine Folge un-
abhängiger zentrierter Zufallsgrößen mit Varianz Eins ist. Einen Spezialfall, den berühmten
Satz 5.2.5 von Moivre-Laplace, bewiesen wir schon, und der Beweis beruhte auf expliziter Rech-
nung. Hier geben wir den Beweis im allgemeinen Fall.
Unser Hauptbeweismittel werden die charakteristischen Funktionen sein, denen wir uns
zunächst eine Weile lang widmen werden. Die charakteristische Funktion einer Wahrscheinlich-
keitsverteilung spiegelt viele wichtige Eigenschaften der Verteilung auf analytische Weise wider,
so dass sich etliche neue Möglichkeiten der Untersuchung der Verteilung eröffnen.
8.3. CHARAKTERISTISCHE FUNKTIONEN UND DER ZENTRALE GRENZWERTSATZ133

Wir werden auch komplex wertige Funktionen integrieren, was völlig natürlich durch Zer-
legung in Real- und Imaginärteil geschieht, also E(X + iY ) = E(X) + iE(Y ) für integrierbare
(reellwertige) Zufallsgrößen X und Y . Mit h·, ·i bezeichnen wir das Standardskalarprodukt auf
dem Rd , und i ist die imaginäre Einheit.

Definition 8.3.1 (charakteristische Funktion, Fourier-Transformierte). Die charakteristische

Funktion oder Fourier-Transformierte eines Wahrscheinlichkeitsmaßes P auf (Rd , Bd ) ist die
b : Rd → C, definiert durch
Abbildung P
Z Z Z
P(x)
b = eihx,yi P(dy) = cos(hx, yi) P(dy) + i sin(hx, yi) P(dy), x ∈ Rd .

Die charakteristische Funktion einer Rd -wertigen Zufallsvariablen X ist die charakteristische

◦ X −1 schreiben wir ϕX , also ϕX (x) = E(eihx,Xi ).
Funktion der Verteilung von X; statt P\

Beispiel 8.3.2. (a) Die charakteristische Funktion der d-dimensionalen Standardnormalver-

teilung N = N (0, I) (siehe Beispiel 6.6.7) ist N b (x) = e− 12 kxk2 , wie man mit Hilfe einer
quadratischen Ergänzung im Exponenten und dem Cauchy’schen Integralsatz zeigt. Wir
skizzieren den Beweis für den Spezialfall d = 1. Zunächst haben wir
1 2 1 2
−2x
e− 2 x R−ix
Z Z
b (x) = e√
N − 21 (y−ix)2
e dy = √ lim
1 2
e− 2 z dz,
2π R 2π R→∞ −R−ix

wobei der Integrationsweg die gerichtete Strecke von −R − ix bis R − ix ist. Nun ergänzen
wir diesen Weg durch die drei gerichteten Strecken von R − ix nach R, von R nach −R
und von −R nach −R −ix und erhalten eine geschlossene Kurve ohne Doppelpunkte. Nach
dem Cauchy’schen Integralsatz ist das Kurvenintegral über diese geschlossene Kurve gleich
1 2
Null, denn z 7→ e− 2 z ist analytisch in der ganzen komplexen Ebene. Außerdem ist leicht
zu sehen, dass die Integralteilstücke über die beiden Strecken von R − ix nach R und von
−R nach −R − ix im Grenzwert R → ∞ verschwinden. Also folgt
1 2
−2x Z R
b (x) = e√
N lim
1 2 1 2
e− 2 z dz = e− 2 x .
2π R→∞ −R

Für eine allgemeine positiv definite symmetrische d × d-Matrix Σ und b ∈ Rd ist die
charakteristische Funktion von N (b, Σ) gegeben durch
n 1 o
N\
(b, Σ)(x) = exp ihx, bi − hx, Σxi , x ∈ Rd .
2

(b) Die charakteristische Funktion der Cauchy-Verteilung P auf R zum Parameter c > 0 (siehe
Beispiel 6.6.6) ist gegeben durch P(x)
b = e−c|x| , wie man mit Hilfe des Residuensatzes zeigt.
Den Beweis skizzieren wir für c = 1 und x > 0. Zunächst sehen wir, dass gilt:
Z R ixy
1 e
P(x) =
b lim dy.
π R→∞ −R 1 + y 2

Nun ergänzen wir die gerichtete Strecke von −R nach R durch den Halbkreis (gegen den
Uhrzeigersinn durchlaufen) um Null mit Radius R von R über iR nach −R. Die entstehende
134 KAPITEL 8. KONVERGENZBEGRIFFE

geschlossene Kurve nennen wir γR . Man muss sich überlegen, dass das Integral über den
Halbkreis im Grenzwert für R → ∞ verschwindet (hier benötigen wir, dass x positiv ist).
Also erhalten wir
eixz /(z + i)
Z
1
P(x) = 2i lim
b dz.
R→∞ 2πi γR z−i
Die Kurve γR besitzt die Windungszahl Eins um die Singularität des Nenners, i. Nach
dem Residuensatz ist für jedes R > 1 der Term hinter ‘limR→∞ ’ gleich dem Wert des
Zählers an der Stelle dieser Singularität, also gleich eixi (i + i) = e−|x| /(2i). Daraus folgt die
Behauptung.

(d) Die Exponentialverteilung zum Parameter λ > 0 (Dichte x 7→ λe−λx 1l[0,∞) (x)) hat die
λ
charakteristische Funktion t 7→ λ−it (Übungsaufgabe).

(e) Die Binomial-Verteilung nk=0 nk pk (1 − p)n−k δk zu den Parametern n ∈ N und p ∈ (0, 1)

hat die charakteristische Funktion t 7→ (1 + p(eit − 1))n .

αk
(f) Die Poisson-Verteilung e−α
P
k∈N0 k! δk zum Parameter α > 0 hat die charakteristische
it
Funktion t 7→ eα(e −1) .
1
(g) Die Verteilung auf [−a, a] mit der Dichte x 7→ a (1 − |x|/a)+ hat die charakteristische
Funktion t 7→ a22t2 (1 − cos(at)).
3

Die große Bedeutung der charakteristischen Funktionen ϕX von Zufallsgrößen X gründet

sich auf folgenden Tatsachen:

(i) Die Abbildung X 7→ ϕX hat schöne Eigenschaften unter Transformationen und unabhängi-
gen Summen,

(ii) ϕX bestimmt die Verteilung von X eindeutig,

(iii) punktweise Konvergenz der charakteristischen Funktionen ist äquivalent zur schwachen
Konvergenz der zugehörigen Verteilungen.

Dies formulieren wir nun im Einzelnen, zunächst (i).

Lemma 8.3.3. Für jede Rd -wertige Zufallsgröße X gelten die folgenden Aussagen.
(a) Für jedes x ∈ Rd ist |ϕX (x)| ≤ 1, und es gilt ϕX (0) = 1.

(b) Für alle a ∈ R und b ∈ Rd ist ϕaX+b (x) = ϕX (ax)eihx,bi .

(c) ϕX ist genau dann reellwertig, wenn P ◦ X −1 = P ◦ (−X)−1 .

(d) Wenn X und Y zwei unabhängige Zufallsgrößen sind, so gilt ϕX+Y = ϕX · ϕY .

8.3. CHARAKTERISTISCHE FUNKTIONEN UND DER ZENTRALE GRENZWERTSATZ135

Beweis. einfache Übungsaufgaben. Beim Beweis von (d) benutze man Lemma 7.2.13(b) (genauer
gesagt, eine Erweiterung auf komplexwertige Zufallsgrößen).
Wir beleuchten noch den Zusammenhang mit höheren Momenten:
Lemma 8.3.4. Sei X eine reelle Zufallsvariable mit charakteristischer Funktion ϕ.
(a) Falls E[|X|n ] < ∞, so ist ϕ n Mal stetig differenzierbar, und die Ableitungen sind gegeben
durch ϕ(k) (t) = E[(iX)k eitX ] für k = 0, . . . , n.
(b) Falls E[X 2 ] < ∞, so ist
1
ϕ(t) = 1 + itE[X] − t2 E[X 2 ] + o(t2 ), t → 0.
2
1 n n
(c) Sei h ∈ R mit limn→∞ n! |h| E[|X| ] = 0, so gilt
∞
X (ih)k itX k
ϕ(t + h) = E e X , t ∈ R.
k!
k=0

Insbesondere gilt dies unter der Voraussetzung, dass E[e|hX| ] < ∞.

Beweis. Übungsaufgaben. Im Beweis von (a) betrachte man z. B. die Zufallsgröße Yk (t, h, X) =
(ihX)l
k!h−k eitX eihX − k−1
P
l=0 l! , benutze eine Taylor-Entwicklung der Exponentialfunktion und
geeignete Abschätzungen und gehe ähnlich vor wie im Beweis des Differenziationslemmas 6.8.9.
(b) folgt aus der Taylorformel unter Verwendung von (a). Der Beweis von (c) ist elementar.
Wir werden in Kürze zeigen, dass die Verteilung einer Zufallsvariable eindeutig durch seine
charakteristische Funktion gegeben ist, also durch die Angabe der Integrale gegen die Funktionen
x 7→ eixy mit y ∈ R. Zuvor aber betrachten wir die Frage, ob sie vielleicht schon durch die
Angabe aller Momente festgelegt ist. Diese Frage ist von einiger Bedeutung bei Zufallsgrößen,
deren Verteilung nur schwer angegeben werden kann, aber deren Momente zugänglich sind.
Korollar 8.3.5 (Momentenproblem). Sei X eine reelle Zufallsvariable mit
1
α = lim sup E[|X|n ]1/n < ∞.
n→∞ n

Dann ist die charakteristische Funktion ϕ von X analytisch, und die Verteilung von X ist ein-
deutig durch die Momente E[X n ], n ∈ N, festgelegt. Speziell gilt dies, wenn E[et|X| ] < ∞ für ein
t > 0.
√
Beweis. Die Stirling’sche Formel besagt, dass n! ∼ nn e−n 2πn für n → ∞. Für alle |h| < 1/(3α)
gilt daher
1 1 e n e n
lim sup |h|n E[|X|n ] = lim sup √ E[|X|n ]1/n |h| ≤ lim sup = 0.
n→∞ n! n→∞ 2πn n n→∞ 3
Nach Lemma 8.3.4(c) ist ϕ um jeden Punkt t ∈ R in eine Potenzreihe entwickelbar mit Konver-
genzradius ≥ 1/(3α), insbesondere also analytisch. Damit ist sie insbesondere festgelegt durch
die Koeffizienten der Reihe um t = 0, nach Lemma 8.3.4(a) also durch die Momente von X. Die
Zusatzaussage zeigt man als eine elementare Übungsaufgabe.
Die Momente legen also die Verteilung der Zufallsgröße X fest, wenn sie nicht schneller
wachsen als E[|X|n ] ≤ (Cn)n , n ∈ N, für ein C > 0.
136 KAPITEL 8. KONVERGENZBEGRIFFE

Beispiel 8.3.6. (i) Eine normalverteilte Zufallsgröße X ∼ N (µ, σ 2 ) hat die Momenten er-
2 2
zeugende Funktion E[etX ] = eµt+t σ /2 < ∞. Also ist X die einzige Zufallsgröße, die die
2 2
selben Momente wie N (µ, σ 2 ) besitzt. Die charakteristische Funktion ϕ(t) = eiµt−t σ /2 ist
in der Tat analytisch.
(ii) Eine zum Parameter λ > 0 exponential-verteilte Zufallsgröße X hat die Momenten er-
λ
zeugende Funktion E[etX ] = λ−t , und dies ist endlich für t < λ. Also ist X durch seine
Momente eindeutig bestimmt. Die charakteristische Funktion ϕ(t) = λ/(λ − it) ist analy-
tisch. Die Singularität bei t = −iλ korrespondiert mit dem Konvergenzradius λ und der
Tatsache, dass die t-ten exponentiellen Momente für t ≥ λ nicht endlich sind.
(iii) Wenn Y eine Standard-Normalverteilte Zufallsgröße ist, so besitzt X = eY per Defini-
tion die sogenannte Log-Normalverteilung. Da nY die Verteilung einer Summe von n2
unabhängigen Kopien von Y hat, kann man die n-ten Momente von X leicht zu E[X n ] =
2
en /2 errechnen. Hier ist also α = ∞, und Korollar 8.3.5 kann nicht angewendet werden.
Tatsächlich kann man auch eine andere Verteilung konstruieren, die die selben Momente
wie X besitzt.
3
Die eindeutige Beziehung zwischen einer Zufallsgröße und ihren Momenten kann man sich
auch für die schwache Konvergenz nutzbar machen:
Satz 8.3.7 (Fréchet-Shohat). Sei X eine Zufallsgröße, so dass ( k1 E[|X|k ]1/k )k∈N beschränkt ist,
und sei (Xn )n∈N eine Folge von Zufallsgrößen, so dass für jedes k ∈ N gilt: limn→∞ E[Xnk ] =
E[X k ]. Dann konvergiert Xn schwach gegen X.

Beweis. Übungsaufgabe. Man zeige die Straffheit von (Xn )n∈N und identifiziere die Momente
aller möglichen Häufungspunkte. Auch das Continuous mapping theorem (Satz 8.2.11) und
Lemma 8.1.18 sind hilfreich.
Die schwache Konvergenz der Zufallsgrößen Xn kann auch aus der Konvergenz der Momen-
ten erzeugenden Funktionen Mn (t) = E[etXn ] gefolgert werden:
Korollar 8.3.8. Seien X, X1 , X2 , . . . Zufallsgrößen mit Momenten erzeugenden Funktionen
M, M1 , M2 , . . . . Es existiere ein t0 > 0 mit M (t) < ∞ und Mn (t) < ∞ für jedes n ∈ N und
t ∈ [−t0 , t0 ]. Es gelte limn→∞ Mn (t) = M (t) für jedes t ∈ [−t0 , t0 ]. Dann konvergiert Xn schwach
gegen X.

Beweis. Übungsaufgabe. Man zeige Konvergenz der Momente und benutze den Satz 8.3.7 von
Fréchet-Shohat.

Beispiel 8.3.9. Für n ∈ N sei Nn eine zum Parameter n Poisson-verteilte Zufallsgröße, und
√
wir setzen Xn = (Nn − n)/ n. Als eine Übungsaufgabe zeigt man mit Hilfe von Korollar 8.3.8,
dass Xn gegenP die Standardnormalverteilung konvergiert. Daraus folgert man einerseits, dass
k
limn→∞ e−n nk=0 nk! = 12 gilt und andererseits (durch Betrachtung des Negativteils von Xn ),
√
dass die Stirling-Asymptotik n! ∼ ( ne )n 2πn gilt. 3
Nun kommen wir zu (ii), also dem eindeutigen Bezug zwischen einer Verteilung und ihrer
charakteristischen Funktion. Die folgende Aussage kan man auch äquivalent damit formulieren,
dass die Vereinigung der Familien der Funktionen cos(hx, ·i) und sin(hx, ·i) mit x ∈ Rd trennend
ist.
8.3. CHARAKTERISTISCHE FUNKTIONEN UND DER ZENTRALE GRENZWERTSATZ137

Satz 8.3.10. Es seien P1 und P2 zwei Wahrscheinlichkeitsmaße auf (Rd , Bd ) mit P

b1 = P
b2 . Dann
gilt P1 = P2 .

Beweis. Nach dem Eindeutigkeitssatz 6.2.8 reicht es, für jede kompakte Menge K ⊂ Rd
zu zeigen, dass P1 (K) = P2 (K); siehe auch Beispiel 6.1.5. Sei also K ⊂ Rd kompakt. Mit
dist(K, x) = inf{d(y, x) : y ∈ K} bezeichnen wir den Abstand von x ∈ Rd zu K. Für m ∈ N sei
fm : Rd → [0, 1] definiert durch

1,
 falls x ∈ K,
1
fm (x) = 0, falls dist(K, x) ≥ m ,

1 − m dist(K, x) sonst.


(Dies ist im Wesentlichen die Funktion fε aus dem Beweis des Lemmas 8.2.4.) Dann ist fm stetig
mit Werten in [0, 1] und kompaktem Träger, und es gilt fm ↓ 1lK für m → ∞. Auf Grund des
monotonen
R Konvergenzsatzes
R (Satz 6.8.1) wären wir also fertig, wenn wir gezeigt hätten, dass
fm dP1 = fm dP2 für jedes m ∈ N gilt. Dies zeigen wir nun. Sei also m ∈ N fest, und wir
schreiben f statt fm .
Sei ε > 0, dann können wir ein N > 0 so groß wählen, dass der Kubus BN = [−N, N ]d
die Menge {x ∈ Rd : f (x) 6= 0} enthält und so dass P1 (BN c ) ≤ ε und P (B c ) ≤ ε gelten.
2 N
Nach dem Weierstraß’schen Approximationssatz gibt es eine Funktion g : R d → C der Form

g(x) = nj=1 cj exp{ih N

π
tj , xi} mit n ∈ N, c1 , . . . , cn ∈ C und t1 , . . . , tn ∈ Zd , die f bis auf ε auf
P
BN approximiert, d. h. sup{|f (x) − g(x)| : x ∈ BN } ≤ ε. Man beachte, dass diese Funktionen
g BN -periodisch sind und dass wir daher supx∈Rd |g(x)| = supx∈BN |g(x)| ≤ 1 + ε haben. Wir
betrachten die Abschätzung
Z Z Z Z Z Z Z Z
f dP1 − f dP2 ≤ f dP1 − g dP1 + g dP1 − g dP2 + g dP2 − f dP2 .

Der zweite Summand auf der rechten Seite ist nach Voraussetzung P b1 = P b2 gleich Null. Der
erste Summand kann wegen |g(x)| ≤ 1 + ε folgendermaßen abgeschätzt werden:
Z Z Z Z Z Z
f dP1 − g dP1 ≤ f dP1 − g dP1 + |f | dP1 + |g| dP1
BN BN c
BN c
BN
Z
c
≤ |f − g| dP1 + (1 + ε)P1 (BN )
BN
c
≤ εP1 (BN ) + (1 + ε)P1 (BN ) ≤ ε(2 + ε).
R
Der
R dritte Summand wird analog abgeschätzt. Da ε > 0 beliebig war, folgt die Aussage f dP1 =
f dP2 , und der Beweis ist beendet.
Für die folgende Anwendung erinnern wir an die mehrdimensionale Normalverteilung von
Beispiel 6.6.7 sowie an Bemerkung 7.1.3.

Korollar 8.3.11. Sei µ = N (a, Σ) die Normalverteilung auf Rn mit Erwartungswertvektor

a ∈ Rn und Kovarianzmatrix Σ ∈ Rn×n , und sei φ : Rn → Rm eine affine Abbildung, also
φ(x) = Ax + b mit einer (m × n)-Matrix A und b ∈ Rm . Dann ist das Bildmaß µ ◦ φ−1 die
Normalverteilung auf Rm mit Erwartungswertvektor Aa + b und Kovarianzmatrix AΣAT ; kurz:
N (a, Σ) ◦ φ−1 = N (Aa + b, AΣAT ).
138 KAPITEL 8. KONVERGENZBEGRIFFE

Beweis. Wir identifizieren die charakteristische Funktion:

Z Z
iht,xi −1
\ −1
µ ◦ φ (t) = e µ ◦ φ (dx) = eiht,Ax+bi µ(dx)
Z
T
n 1 o
= eiht,bi eihA t,xi µ(dx) = eiht,bi exp ihAT t, ai − hAT t, ΣAT ti
2
n 1 o
= exp iht, Aa + bi − ht, AΣAT ti .
2
Nun folgt die Aussage aus Satz 8.3.10 und Beispiel 8.3.2.
Ferner erhalten wir aus Satz 8.3.10 eine Charakterisierung der mehrdimensionalen Normal-
verteilung in Termen ihrer Projektionen:

Lemma 8.3.12. Ein Rd -wertiger Zufallsvektor X mit positiv definiter Kovarianzmatrix Σ ist
genau dann normalverteilt, wenn für jedes λ ∈ Rd die Zufallsgröße hλ, Xi normalverteilt ist,
und zwar mit Erwartungswert hλ, E[X]i und Varianz hλ, Σλi.

Beweis. Übungsaufgabe.
Als Letztes formulieren wir (iii) aus, also den Bezug zwischen schwacher Konvergenz der
Verteilungen und punktweiser Konvergenz der zugehörigen charakteristischen Funktionen:

Satz 8.3.13 (Stetigkeitssatz). Es seien P, P1 , P2 , P3 . . . Wahrscheinlichkeitsmaße mit charak-

teristischen Funktionen ϕ, ϕ1 , ϕ2 , ϕ3 , . . . . Dann gelten:
(a) Falls Pn =⇒ P für n → ∞, so konvergiert ϕn gegen ϕ lokal gleichmäßig.

(b) Falls ϕn punktweise gegen eine Funktion f : Rd → C konvergiert, die in 0 stetig ist, so
existiert ein Wahrscheinlichkeitsmaß Q, dessen charakteristische Funktion f ist, und Pn
konvergiert schwach gegen Q.

Aus (b) folgt natürlich auch, dass die schwache Konvergenz von Pn gegen P schon aus der
punktweisen Konvergenz der charakteristischen Funktionen ϕn gegen ϕ folgt. Der Beweis des
Stetigkeitssatzes 8.3.13 benötigt Vorbereitungen. Bevor wir ihn bringen, geben wir ein Beispiel
dafür, dass die charakteristischen Funktionen konvergieren können, ohne dass die zugehörigen
Verteilungen konvergieren:

Beispiel 8.3.14. Sei Pn die Gleichverteilung auf dem Intervall [−n, n], dann errechnet sich die
charakteristische Funktion ϕn zu
Z n
1 1 sin(tn)
ϕn (t) = eitx dx = sin(tn) − sin(−tn) = , t ∈ R \ {0}.
2n −n 2nt tn

Also konvergiert ϕn punktweise gegen die Funktion, die in 0 gleich 1 ist und Null sonst. Da
diese Grenzfunktion in Null unstetig ist, sagt der Stetigkeitssatz nichts über die Konvergenz
von Pn aus. Allerdings sieht man leicht, dass (Pn )n∈N nicht schwach konvergiert, denn für jedes
beschränkte Intervall I gilt limn→∞ Pn (I) = 0. 3

Ohne Mühe erhalten wir aus dem Stetigkeitssatz 8.3.13 auch den Poisson’schen Grenzwert-
satz (siehe Satz 1.3.7):
8.3. CHARAKTERISTISCHE FUNKTIONEN UND DER ZENTRALE GRENZWERTSATZ139

Beispiel 8.3.15 (Poisson’scher Grenzwertsatz). Es sei α > 0, und für jedes n ∈ N seien
X1 , . . . , Xn unabhängige, zum Parameter αn Bernoulli-verteilte Zufallsgrößen. Also ist Sn =
X1 + · · · + Xn zu den Parametern n und αn Binomial-verteilt. Die charakteristische Funktion
ϕn (t) = (1+ αn (eit −1))n von Sn kennen wir aus Beispiel 8.3.2(e). Offensichtlich konvergiert ϕn (t)
it
gegen eα(e −1) , und dies ist nach Beispiel 8.3.2(f) die charakteristische Funktion der Poisson-
Verteilung zum Parameter α. Nach dem Stetigkeitssatz konvergiert also Sn schwach gegen diese
Verteilung. 3

Nun nähern wir uns dem Beweis des Stetigkeitssatzes. Wir nennen eine Familie {fi : i ∈ I}
von reellen Abbildungen auf einem metrischen Raum (E, d) gleichgradig gleichmäßig stetig, falls
zu jedem ε > 0 ein δ > 0 existiert, so dass für alle i ∈ I und alle s, t ∈ E mit d(s, t) < δ gilt:
|fi (t) − fi (s)| < ε. Zunächst benötigen wir eine elementare analytische Aussage:
Lemma 8.3.16. Seien (E, d) ein metrischer Raum und f, f1 , f2 , . . . : E → R Funktionen, so-
dass limn→∞ fn (t) = f (t) für jedes t ∈ E. Falls (fn )n∈N gleichgradig gleichmäßig stetig ist, so
konvergiert fn sogar gleichmäßig auf jedem Kompaktum gegen f , und f ist gleichmäßig stetig.

Beweis. Übungsaufgabe.
Also müssen wir die gleichgradige gleichmäßige Stetigkeit von gewissen Mengen von charak-
teristischen Funktionen zeigen:
Lemma 8.3.17. Sei M ⊂ M1 (Rd ) straff, dann ist die Menge {P b : P ∈ M } der zugehörigen
charakteristischen Funktionen gleichgradig gleichmäßig stetig. Insbesondere ist jede charakteri-
stische Funktion gleichmäßig stetig.

Beweis. Zunächst sieht man mit Hilfe der Cauchy-Schwarz-Ungleichung, dass für jede charak-
teristische Funktion ϕ eines Wahrscheinlichkeitsmaßes P für alle t, s ∈ Rd gilt:
Z Z
2 2
2 iht,xi ihs,xi
eiht−s,xi − 1 eihs,xi P(dx)

|ϕ(t) − ϕ(s)| = e −e P(dx) =
d Rd
Z R Z
2 2
≤ eiht−s,xi − 1 P(dx) eihs,xi P(dx)
ZR
d R d (8.3.1)
iht−s,xi
ihs−t,xi
= e −1 e − 1 P(dx)
Rd

= 2 1 − <(ϕ(t − s)) ,

Wenn wir dies für u = t − s benutzen und (8.3.1) für ϕ = P

b benutzen, folgt die Aussage.
140 KAPITEL 8. KONVERGENZBEGRIFFE

Nun kommt der Beweis des Stetigkeitssatzes:

Beweis des Satzes 8.3.13. (a): Es gilt limn→∞ ϕn (t) = ϕ(t) für jedes t ∈ Rd , denn die
Abbildung Rd 3 x 7→ eiht,xi ist stetig und beschränkt. Nach Lemma 8.3.17 ist (ϕn )n∈N gleich-
gradig gleichmäßig stetig. Daraus folgt mit Hilfe von Lemma 8.3.16, dass (ϕn )n∈N sogar lokal
gleichmäßig gegen ϕ konvergiert.
(b): Wir wissen aus Satz 8.3.10, dass die Vereinigung der Familien der Abbildungen cos(hx, ·i)
mit x ∈ Rd und der Abbildungen sin(hx, ·i) mit x ∈ Rd trennend ist. Nach Satz 8.2.26 reicht es
also, die Straffheit der Folge (Pn )n∈N zu zeigen. Dies tun wir nur für d = 1, der Fall allgemeiner
Dimension geht genauso.
Wegen ϕn (0) = 1 für jedes n ∈ N gilt f (0) = 1. Wir betrachten die Abbildung h : R → [0, ∞),
die durch h(x) = 1 − x1 sin x für x 6= 0 und h(0) = 0 definiert ist, dann ist h stetig differenzierbar.
Man sieht leicht, dass α = inf |x|≥1 h(x) = 1 − sin 1 > 0 ist. Für jedes K > 0 errechnen wir
Z Z
1 1
Pn [−K, K]c ≤

h(x/K) Pn (dx) ≤ h(x/K) Pn (dx)
α [−K,K]c α R
Z Z 1/K
K
= (1 − cos(xt)) dt Pn (dx)
α R 0
Z 1/K Z
K
= (1 − cos(xt)) Pn (dx)dt
α 0 R
K 1/K
Z

= 1 − <(ϕn (t)) dt,
α 0
wobei wir die Markov’sche Ungleichung und den Satz von Fubini benutzten. Mit Hilfe des Satzes
von der Majorisierten Konvergenz bekommen wir nun
1 1
Z
lim sup Pn [−K, K]c ≤ lim sup

1 − <(ϕn (t/K)) dt
n→∞ n→∞ α 0
1 1 1 1
Z Z

= lim 1 − <(ϕn (t/K)) dt = 1 − <(f (t/K)) dt.
α 0 n→∞ α 0
Da f stetig ist mit f (0) = 1, konvergiert das letzte Integral gegen 0 für K → ∞. Also haben wir
limK→∞ lim supn→∞ Pn ([−K, K]c ) = 0 gezeigt. Eine leichte Übungsaufgabe zeigt, dass daraus
die Straffheit von (Pn )n∈N folgt.
Nun können wir das Hauptergebnis dieses Abschnitts beweisen:

Satz 8.3.18 (Zentraler Grenzwertsatz). Sei (Xi )i∈N eine Folge unabhängiger, identisch verteil-
ter Zufallsgrößen mit Erwartungswert Null und Varianz Eins. Wir setzen Sn = X1 + · · · + Xn .
Dann konvergiert die Verteilung von √1n Sn schwach gegen die Standardnormalverteilung N .
Insbesondere gilt

√ √
Z b
1 2 /2
lim P a n ≤ Sn ≤ b n = √ e−x dx, −∞ ≤ a < b ≤ ∞.
n→∞ 2π a

Beweis. Es sei ϕ die charakteristische Funktion von X1 . Dann ist nach Lemma 8.3.4(b)
1
ϕ(t) = 1 − t2 + o(t2 ), t → 0.
2
8.3. CHARAKTERISTISCHE FUNKTIONEN UND DER ZENTRALE GRENZWERTSATZ141

Sei ϕn die charakteristische Funktion von √1n Sn . Nach Lemma 8.3.3 gilt für jedes t ∈ R im Limes
n → ∞:
t n t2 (1 + o(1)) n 2
ϕn (t) = ϕ √ = 1− → e−t /2 = N
b (t).
n 2n
Also haben wir gesehen, dass die charakteristische Funktion ϕn von √1 Sn gegen die charakte-
n
ristische Funktion t 7→ e −t2 /2
der Standardnormalverteilung (siehe Beispiel 8.3.2) konvergiert.
Nach dem Stetigkeitssatz 8.3.13 ist der Beweis der schwachen Konvergenz der Verteilung von
√1 Sn gegen N beendet. Die Zusatzaussage folgt aus Lemma 8.2.14, weil N eine Dichte hat.
n

Anwendungen des Zentralen Grenzwertsatzes (genauer: seines Spezialfalles für Bernoulli-

Größen, des Satzes von Moivre-Laplace) wurden in Abschnitt 5.2 diskutiert. Man beachte, dass
die Aussage des Zentralen Grenzwertsatzes trivial ist für standardnormalverteilte Zufallsgrößen
X1 , X2 , . . . , denn wir wissen aus Lemma 7.2.17(i), dass dann √1n (X1 + · · · + Xn ) ebenfalls exakt
standardnormalverteilt ist für jedes n ∈ N. Dies ist allerdings eine sehr spezielle Eigenschaft der
Normalverteilung.
Die Voraussetzung der Unabhängigkeit und identischen Verteilung im Zentralen Grenzwert-
satz können natürlich wesentlich abgeschwächt werden. Hinreichende Bedingungen, die oft in der
Literatur erwähnt werden, sind die sogenannten Lindeberg-Feller-Bedingungen, die wir allerdings
nicht behandeln werden.
Um einen mehrdimensionalen Zentralen Grenzwertsatz zu erhalten, ist die folgende Aussage
hilfreich:

Lemma 8.3.19 (Satz von Cramér-Wold). Seien X, X1 , X2 , . . . Zufallsvektoren mit Werten im

Rd . Dann gilt Xn =⇒ X genau dann, wenn für jedes λ ∈ Rd gilt: hλ, Xn i =⇒ hλ, Xi.

Beweis. Übungsaufgabe. Die Richtung ‘=⇒’ folgt aus Lemma 8.2.11(b). Beim Beweis der Rich-
tung ‘⇐=’ zeigt man zunächst die Straffheit und betrachtet dann die charakteristischen Funk-
tionen, oder man benutzt gleich den Stetigkeitssatz.
Mit Hilfe von Lemmas 8.3.19 und 8.3.12 erhält man aus dem Zentralen Grenzwertsatz 8.3.18
als eine Übungsaufgabe die folgende mehrdimensionale Variante:

Satz 8.3.20 (Zentraler Grenzwertsatz im Rd ). Sei (Xi )i∈N eine Folge unabhängiger, identisch
verteilter Rd -wertiger Zufallsvektoren mit Erwartungswertvektor Null und positiv definiter Ko-
varianzmatrix Σ ∈ Rd×d . Dann konvergiert die Folge der

1
√ (X1 + · · · + Xn ), n ∈ N,
n

in Verteilung gegen die Normalverteilung N (0, Σ).

Wir ziehen noch ein paar weitere Folgerungen aus dem Stetigkeitssatz. Man fragt sich viel-
leicht, ob man einer Funktion ansehen kann, ob sie die charakteristische Funktion einer Wahr-
scheinlichkeitsverteilung ist. Hier ist ein hinreichendes Kriterium:

Satz 8.3.21 (Satz von Polya). Sei f : R → R stetig mit f (0) = 1 und f (−x) = f (x) für jedes
x ∈ R. Ferner sei f auf [0, ∞) konvex und fallend. Dann ist f die charakteristische Funktion
einer Wahrscheinlichkeitsverteilung.
142 KAPITEL 8. KONVERGENZBEGRIFFE

Beweisskizze. Wir können f auf [0, ∞) durch konvexe fallende Polygonzüge approximieren,
indem wir etwa fn (k/n) = f (k/n) − f (n) setzen für k = 0, 1, . . . , n2 und auf [n, ∞) konstant
stetig mit Null fortsetzen. Für x < 0 setzen wir fn (x) = fn (−x). Offensichtlich konvergiert dann
fn punktweise gegen f , denn limn→∞ f (n) = 0. Man kann durch eine explizite Konstruktion (die
auf Beispiel 8.3.2(g) basiert) zeigen, dass fn die charakteristische Funktion einer Wahrschein-
lichkeitsverteilung ist. Dann ist der Beweis mit Hilfe des Stetigkeitssatzes beendet.
α
Beispiel 8.3.22 (stabile Verteilungen). Für jedes α ∈ (0, 2] und a > 0 ist ϕa,α (t) = e−a|t| die
charakteristische Funktion eines symmetrischen Wahrscheinlichkeitsmaßes µa,α auf R. Dies folgt
für α ≤ 1 aus dem Satz von Polya. Der Spezialfall α = 2 ist der der Normalverteilung.
Diese Verteilungen haben die folgende spezielle Eigenschaft: Sie sind α-stabil, was bedeutet,
dass für jedes n und für je n unabhängige Zufallsgrößen X1 , . . . , Xn mit Verteilung µa,α gilt,
dass die Summe X1 + · · · + Xn die Verteilung von n1/α X1 hat. Dies folgt direkt aus der Funk-
tionalgleichung ϕa,α (t)n = ϕa,α (n1/α t), zusammen mit der Eindeutigkeit der charakteristischen
Funktion einer Verteilung und Satz 8.3.3(d).
Die Verteilung µa,α tritt unter bestimmten Umständen als universeller Verteilungsgrenzwert
von n−1/α (X1 + · · · + Xn ) auf, wenn X1 , X2 , . . . unabhängige, identisch verteilte Zufallsgrößen
sind mit α = sup{γ > 0 : E[|X1 |γ < ∞}. 3
Kapitel 9

Markovketten

In diesem Kapitel behandeln wir einen der wichtigsten stochastischen Prozesse, die Markovketten
auf einem diskreten Raum in diskreter Zeit. Man stelle sich ein Teilchen vor, das sich durch eine
höchstens abzählbare Menge I zufällig bewegt und zu den Zeitpunkten 1, 2, 3, . . . jeweils zu einem
(eventuell anderen) Punkt springt. Die besondere Eigenschaft der Sprungentscheidungen, die die
Markoveigenschaft ausmacht, ist die Tatsache, dass diese Entscheidung nur von der aktuellen
Position des Teilchens abhängt, aber nicht von dem Verlauf des ganzen bisherigen Pfades, den
das Teilchen zurückgelegt hat.
Markovketten spielen eine wichtige Rolle bei der Modellierung vieler zeitlich sich entwickeln-
der Prozesse: bei Mischungsvorgängen, bei Sortieralgorithmen und anderen stochastischen Al-
gorithmen, bei der Modellierung physikalischer Prozesse oder von Finanzmärkten und Vielem
mehr.
Im gesamten Kapitel sei I eine nichtleere, endliche oder höchstens abzählbar unendliche
Menge.

9.1 Definition und einfache Eigenschaften

Wir beginnen mit der Definition der Markoveigenschaft: Selbst wenn der gesamte bisherige
Verlauf bekannt ist, hat nur die aktuelle Position einen Einfluss auf die Sprungentscheidung.

Definition 9.1.1 (Markoveigenschaft). Wir sagen, eine Folge X0 , X1 , X2 , . . . von I-wertigen

Zufallsgrößen besitzt die Markoveigenschaft, wenn für jedes n ∈ N0 und alle i0 , i1 , . . . , in+1 ∈ I
gilt:

P(Xn+1 = in+1 | Xn = in , Xn−1 = in−1 , . . . , X0 = i0 ) = P(Xn+1 = in+1 | Xn = in ), (9.1.1)

sofern alle auftretenden bedingten Wahrscheinlichkeiten wohldefiniert sind.

Das legt nahe, dass eine Markovkette im Wesentlichen durch die bedingten Wahrscheinlich-
keiten P(Xn+1 = in+1 | Xn = in ) festgelegt wird. Ihre Kollektion ist also ein ganz wesentliches
Objekt:

Definition 9.1.2 (stochastische Matrix). P Eine Matrix P = (pi,j )i,j∈I heißt stochastisch, falls
pi,j ∈ [0, 1] für alle i, j ∈ I gilt und j∈I pi,j = 1 für jedes i ∈ I gilt.

143
144 KAPITEL 9. MARKOVKETTEN

Wir werden im Folgenden immer still schweigend davon ausgehen, dass die Koeffizienten
einer stochastischen Matrix P mit pi,j bezeichnet sind.
Die Sprungwahrscheinlichkeiten einer Folge von Zufallsgrößen, die die Markoveigenschaft
besitzt, sind also durch stochastische Matrizen gegeben, die a priori noch von dem Zeitpunkt
des Sprunges abhängen dürfen. Wir werden im Folgenden nur solche Folgen betrachten, deren
Sprungwahrscheinlichkeiten nicht von diesem Zeitpunkt abhängen:

Definition 9.1.3 (Markovkette). Sei P eine stochastische Matrix. Eine (endliche oder un-
endliche) Folge X0 , X1 , X2 , . . . von I-wertigen Zufallsgrößen heißt eine (zeitlich homogene)
Markovkette mit Übergangsmatrix P , falls für alle n ∈ N0 und alle i0 , i1 , . . . , in+1 ∈ I mit
P(Xn = in , Xn−1 = in−1 , . . . , X0 = i0 ) > 0 gilt:

P(Xn+1 = in+1 | Xn = in , Xn−1 = in−1 , . . . , X0 = i0 ) = pin ,in+1 . (9.1.2)

Die Einträge pi,j von P heißen die Übergangswahrscheinlichkeiten, und die Startverteilung ν
der Kette ist definiert durch ν(i) = P(X0 = i) für i ∈ I.

Eine Startverteilung ist also eine Wahrscheinlichkeitsverteilung, oder kurz eine Verteilung,
auf I, genau wie jede Zeile einer stochastischen Matrix. Wir schreiben auch oft Pν an Stelle
von P, um die Startverteilung zu betonen. Im Fall, dass ν in einem i ∈ I konzentriert ist (also
ν(i) = 1), schreiben wir Pi . Die Elemente von I nennt man auch oft Zustände, die Menge I
selber den Zustandsraum.

Beispiel 9.1.4 (Irrfahrten). Es seien I eine kommutative additive Gruppe (etwa Zd oder Rd )
und (Yn )n∈N eine Folge unabhängiger undP identisch verteilter I-wertiger Zufallsgrößen. Wir
betrachten die durch X0 = 0 und Xn = nk=1 Yk definierte Partialsummenfolge (Xn )n∈N0 . Als
Übungsaufgabe beweist man, dass (Xn )n∈N0 eine Markovkette ist, deren Übergangsmatrix die
Koeffizienten pi,j = P(Y1 = j − i) besitzt, die also nur von der Differenz der Indizes abhängt.
Man nennt (Xn )n∈N0 eine Irrfahrt auf I (wobei allerdings der englische Begriff random walk
sicherlich sinnvoller ist). 3

Es folgen Charakterisierungen von Markovketten. Notationell ist es angenehm, für s < t

den Pfad (Xs , Xs+1 , . . . , Xt ) mit X[s,t] abzukürzen, ebenso schreiben wir für (nicht zufällige)
Vektoren i[s,t] statt (is , is+1 , . . . , it ) ∈ I t−s+1 .

Satz 9.1.5. Es seien (Xn )n∈N0 eine Folge von I-wertigen Zufallsgrößen, ν eine Verteilung auf
I und P eine stochastische Matrix.
(a) (Xn )n∈N0 ist genau dann eine Markovkette mit Übergangsmatrix P und Startverteilung ν,
wenn für alle n ∈ N0 und alle i0 , i1 , . . . , in ∈ I gilt

P(X0 = i0 , X1 = i1 , . . . , Xn = in ) = ν(i0 )pi0 ,i1 pi1 ,i2 · · · pin−1 ,in . (9.1.3)

(b) Falls (Xn )n∈N0 eine Markovkette ist, so gilt für alle n < m, in ∈ I und alle A ⊂ I n mit
P(X[0,n−1] ∈ A, Xn = in ) > 0 und für alle B ⊂ I m−n :

P(X[n+1,m] ∈ B | X[0,n−1] ∈ A, Xn = in ) = P(X[n+1,m] ∈ B | Xn = in ). (9.1.4)

9.1. DEFINITION UND EINFACHE EIGENSCHAFTEN 145

Beweis. (a) Der Beweis von (9.1.3) wird leicht mit einer Vollständigen Induktion über n geführt,
und eine Folge (Xn )n∈N0 , die (9.1.3) für alle n ∈ N0 und alle i0 , i1 , . . . , in ∈ I erfüllt, wird mit
Hilfe der Definition der bedingten Wahrscheinlichkeit leicht als eine Markovkette identifiziert.
(b) Mit Hilfe der Definition der bedingten Wahrscheinlichkeit und Teil (a) errechnet man
P(X[n+1,m] ∈ B, X[0,n−1] ∈ A, Xn = in )
P(X[n+1,m] ∈ B | X[0,n−1] ∈ A, Xn = in ) =
P(X[0,n−1] ∈ A, Xn = in )
P P
i[n+1,m] ∈B i[0,n−1] ∈A ν(i0 )pi0 ,i1 · · · pim−1 ,im
= P
i[0,n−1] ∈A ν(i0 )pi0 ,i1 · · · pin−1 ,in
X
= pin ,in+1 pin+1 ,in+2 · · · pim−1 ,im .
i[n+1,m] ∈B

Der Ausdruck auf der rechten Seite hängt nicht von A ab. Wir können insbesondere A = I n
setzen und erhalten
X
P(X[n+1,m] ∈ B | Xn = in ) = pin ,in+1 pin+1 ,in+2 · · · pim−1 ,im .
i[n+1,m] ∈B

Wenn wir dies in der obigen Rechnung wieder einsetzen, ist der Beweis von (9.1.4) beendet.
Die Aussage in (b) kann man auch einprägsam wie folgt formulieren:
Korollar 9.1.6 (Unabhängigkeit von Zukunft und Vergangenheit bei gegebener Gegenwart).
Falls (Xn )n∈N0 eine Markovkette ist, so gilt für alle n < m, in ∈ I mit P(Xn = in ) > 0 und alle
A ⊂ I n und B ⊂ I m−n :

P(X[0,n−1] ∈ A, X[n+1,m] ∈ B | Xn = in ) = P(X[0,n−1] ∈ A | Xn = in )P(X[n+1,m] ∈ B | Xn = in ).

(9.1.5)

Beweis. Im Fall P(X[0,n−1] ∈ A, Xn = in ) > 0 ergibt sich (9.1.5) direkt aus (9.1.4) nach
Multiplikation mit P(X[0,n−1] ∈ A | Xn = in ). Ansonsten steht Null auf beiden Seiten von
(9.1.5), und die Aussage gilt trivialerweise.
Man überlege sich an einem Beispiel, dass die Aussage von Korollar 9.1.6 im Allgemeinen
falsch wird, wenn man das Ereignis {Xn = in } ersetzt durch {Xn ∈ C} für beliebige Teilmengen
C von I.
Wir schneiden kurz die Frage der Existenz und Konstruktion von Markovketten an. Ei-
ne abschließende Diskussion wird erst im Rahmen der allgemeinen Wahrscheinlichkeitstheorie
möglich sein.
Bemerkung 9.1.7 (Konstruktion von Markovketten). Eine Markovkette (X0 , X1 , . . . , Xn ) im
Sinne von Definition 9.1.3 mit endlicher Länge kann leicht auf einem diskreten Wahrscheinlich-
keitsraum konstruiert werden. Wir setzen Ωn = I n+1 und definieren die Einzelwahrscheinlich-
keiten als p((i0 , . . . , in )) = ν(i0 )pi0 ,i1 . . . pin−1 ,in , wobei ν eine Verteilung auf I ist und P eine
stochastische Matrix. Dann bilden die Projektionsabbildungen Xi : I n+1 → I eine Markovkette
mit Startverteilung ν und Übergangsmatrix P .
Man beachte, dass dieser Wahrscheinlichkeitsraum von der Länge der Kette abhängt und
dass man genauer Pn statt P für das induzierte Wahrscheinlichkeitsmaß schreiben müsste. Al-
lerdings überzeugt man sich leicht davon, dass die ersten n + 1 Zufallsgrößen einer Markovkette
146 KAPITEL 9. MARKOVKETTEN

der Länge m > n selber eine Markovkette der Länge n bilden.1 Bei der Untersuchung einer
Markovkette in endlicher Zeit reicht es also für viele Zwecke aus, eine genügend späte Zeit m zu
fixieren und den für dieses m konstruierten Wahrscheinlichkeitsraum zu Grunde zu legen.
Eine andere Frage ist allerdings, wie unendlich lange Markovketten (Xn )n∈N0 konstruiert
werden. Dies erfordert maßtheoretische Vorbereitungen und wird erst später erschöpfend (posi-
tiv) beantwortet werden, siehe den Satz von Ionescu Tulcea. Wir werden daher im Folgenden
aus Bequemlichkeit immer von einer unendlich langen Markovkette ausgehen und den benutzten
Wahrscheinlichkeitsraum nicht mit einer endlichen Länge indizieren. 3

Der Zusammenhang zwischen dem Markovschen Mechanismus und der Matrixmultiplikation

ist sehr eng, wie wir uns kurz klar machen wollen.

Bemerkung 9.1.8 (Potenzen stochastischer Matrizen). Stochastische Matrizen P und Q kann

man ohne Probleme im Sinne der Matrixmultiplikation mit einander multiplizieren, und das
Produkt ist ebenfalls eine stochastische Matrix. Die Koeffizienten der n-ten Potenz P n von P
bezeichnen wir mit P n = (pi,j
(n)
)i,j∈I . Es ist P 0 = (δi,j )i,j∈I die Einheitsmatrix, wobei δi,j das
Kroneckersymbol bezeichnet. Wenn man die Gleichung P n P m = P n+m ausschreibt, erhält man
die sogenannten Chapman-Kolmogorov-Gleichungen:
X (n) (m)
p(n+m)
i,j = pi,k pk,j , i, j ∈ I. (9.1.6)
k∈I

Insbesondere haben wir

p(n+m)
i,j
(n) (m)
≥ pi,k pk,j , i, j, k ∈ I, n, m ∈ N0 . (9.1.7)

Auf Grund des folgenden Lemmas 9.1.9 nennt man die Koeffizienten p(n) n
i,j von P auch die n-
stufigen Übergangswahrscheinlichkeiten. 3

Wir stellen uns eine Verteilung ν als Zeilenvektoren vor (wie auch z. B. die Zeilen
P einer sto-
chastischen Matrix), so dass das Matrixprodukt νP wohldefiniert ist, also (νP )j = i∈I ν(i)pi,j .

Lemma 9.1.9. Es sei (Xn )n∈N0 eine Markovkette mit Startverteilung ν und Übergangsmatrix P .
Dann gilt Pν (Xn = j) = (νP n )j für alle n ∈ N und alle j ∈ I. Insbesondere gilt Pi (Xn = j) = p(n)
i,j
für alle i, j ∈ I.

Beweis. Wir summieren die Gleichung (9.1.3) (mit j = in ) über alle i0 , . . . , in−1 ∈ I und
beachten die Regeln der Matrixmultiplikation.
Die Verteilung einer Markovkette zum Zeitpunkt n ist also nichts Anderes als die n-te Potenz
der Übergangsmatrix, multipliziert von links mit der Startverteilung. Wir halten noch fest, wie
sich dies auf zeitliche Verschiebung auswirkt:

Korollar 9.1.10. Es sei (Xn )n∈N0 eine Markovkette mit Übergangsmatrix P . Dann gilt für alle
n, m ∈ N0 und alle i, j ∈ I mit P(Xm = i) > 0:

P(Xm+n = j | Xm = i) = p(n)
i,j .
1
Diese Eigenschaft nennt man die Konsistenz der Kette, eine Eigenschaft, der wir uns in Abschnitt 10 viel
allgemeiner widmen werden.
9.2. BEISPIELE 147

9.2 Beispiele
Ein sehr allgemeines Prinzip, nach dem man Markovketten konstruieren kann (siehe Übungs-
aufgabe), ist das folgende. Mit einer Folge von unabhängigen identisch verteilten Zufallsgrößen
Y1 , Y2 , Y3 , . . . mit Werten in einer beliebigen abzählbaren Menge J und mit einer Funktion
f : I × J → I setzt man rekursiv Xn+1 = f (Xn , Yn+1 ) für n ∈ N0 . Die Kette wird also rekursiv
fortgesetzt, indem man den aktuellen Wert der Kette mit einem festgelegten Mechanismus einem
unabhängigen Zufall unterwirft.
Beispiel 9.2.1 (unabhängige identisch verteilte Folgen). Wenn (Xn )n∈N0 eine Folge unabhängi-
ger und identisch verteilter I-wertiger Zufallsgrößen ist, so ist sie auch eine Markovkette. Die
Übergangsmatrix ist gegeben durch pi,j = qj für alle i, j ∈ I, wobei q die Verteilung von X0 ist.
Natürlich ist q auch die Startverteilung. Andersherum ist eine Markovkette, deren Übergangs-
matrix identische Zeilen besitzt (d. h. deren pi,j nicht von i abhängen), eine Folge unabhängiger
und identisch verteilter Zufallsgrößen. 3
Beispiel 9.2.2 (Irrfahrten auf Gruppen). Es sei I = G eine abzählbare Gruppe, die wir multi-
plikativ schreiben wollen und nicht unbedingt als kommutativ voraus setzen wollen. Ferner sei
µ eine beliebige Verteilung auf G. Wir definieren pg,h = µ(g −1 h) für alle g, h ∈ G. Wegen der
Gruppeneigenschaft ist für jedes g die Abbildung h 7→ g −1 h bijektiv auf G, und es gilt
X X X
pg,h = µ(g −1 h) = µ(h0 ) = 1,
h∈G h∈G h0 ∈G

also ist P = (pg,h )g,h∈G eine stochastische Matrix. Die zugehörige Markovkette heißt die µ-
Irrfahrt auf G. Dieses Beispiel ist die multiplikative Variante der Irrfahrt von Beispiel 9.1.4 (bis
auf die dort voraus gesetzte Kommutativität). Mit Hilfe einer Folge von unabhängigen, nach
µ verteilten Zufallsgrößen Y1 , Y2 , Y3 , . . . erhält man eine µ-Irrfahrt, indem man rekursiv setzt:
X0 = 1 und Xn+1 = Xn Yn , denn dann gilt für alle n ∈ N0 und alle g, h ∈ G mit P(Xn = g) > 0:

P(Xn+1 = h | Xn = g) = P(gYn = h) = µ(g −1 h) = pg,h .

Die Wahl von I = G als die Menge der Permutationen einer endlichen Menge führt zum
Beispiel auf ein Modell für die Mischung eines Kartenstapels; man beachte, dass diese Gruppe
nicht kommutativ ist. 3
Beispiel 9.2.3 (eindimensionale Irrfahrt). Der folgende Spezialfall von Beispiel 9.1.4 wird die
eindimensionale Irrfahrt genannt. Setze I = Z, und Yn nehme die Werte 1 und −1 mit Wahr-
scheinlichkeiten p und q = 1 − p an, wobei p ∈ [0, 1] ein Parameter sei. Dann beschreibt die
Markovkette (Xn )n∈N0 den Weg eines Teilchens durch die diskrete Achse mit unabhängigen
Sprüngen, wobei es zu jedem Zeitpunkt mit Wahrscheinlichkeit p um eine Einheit nach rechts
springt und sonst nach links. Die Übergangsmatrix besitzt die Einträge p auf der rechten Ne-
bendiagonalen und 1 − p auf der linken, ansonsten besteht sie aus Nullen. Im Fall p = 21 wird
die Irrfahrt symmetrisch genannt. 3
Beispiel 9.2.4 (Irrfahrt auf Zd ). Die d-dimensionale Variante von Beispiel 9.2.3 (die ebenfalls
ein Spezialfall von Beispiel 9.1.4 ist) ist auf I = Zd gegeben, indem die Übergangsmatrix durch
1
pi,j = 2d für |i − j| = 1 fest gelegt wird. (Hier ist | · | die `1 -Norm auf Zd .) Die zugehörige Mar-
kovkette beschreibt einen Nächstnachbarschaftspfad durch Zd , wobei jeder Nachbar mit gleicher
Wahrscheinlichkeit ausgewählt wird, unabhängig von allen anderen Sprungentscheidungen. 3
148 KAPITEL 9. MARKOVKETTEN

Beispiel 9.2.5 (Irrfahrten auf {0, . . . , N }). Ähnlich wie in Beispiel 9.2.3 soll ein Sprung inner-
halb von I = {0, . . . , N } mit Wahrscheinlichkeit p zum rechten Nachbarn und mit Wahrschein-
lichkeit 1 − p zum linken ausgeführt werden. Für die Sprungentscheidungen an den Rändern
0 und N müssen wir allerdings gesonderte Vereinbarungen treffen, und es gibt dafür mehrere
Möglichkeiten. Ein Randpunkt, sagen wir 0, heißt absorbierend, falls p0,0 = 1 gilt, falls also das
springende Teilchen nie mehr von der 0 sich entfernen kann. Im Fall p0,1 = 1, wenn also das
Teilchen sofort wieder unweigerlich zurück springen muss, heißt der Randpunkt 0 reflektierend.
3

Beispiel 9.2.6 (Polyas Urnenschema). In einer Urne liegen gewisse (endliche) Anzahlen roter
und schwarzer Kugeln. Zu jedem Zeitpunkt wird eine Kugel zufällig gezogen und zusammen mit
einer neuen Kugel der selben Farbe in die Urne zurück gelegt. Dann bildet das Paar der Anzahlen
der roten und der schwarzen Kugeln zu den Zeitpunkten 0, 1, 2, . . . eine Markovkette auf N20 . Die
r s
Übergangswahrscheinlichkeiten sind gegeben durch p(r,s),(r+1,s) = r+s und p(r,s),(r,s+1) = r+s ;
alle anderen sind Null. 3

Beispiel 9.2.7 (Ehrenfests Urnenmodell). Insgesamt N Kugeln liegen in zwei Urnen. Zu jedem
Zeitpunkt 1, 2, . . . wählen wir eine der Kugeln mit gleicher Wahrscheinlichkeit und lassen sie
die Urne wechseln. Dann ist die Anzahl der Kugeln in der linken Urne zum Zeitpunkt n eine
Markovkette auf I = {0, . . . , N } im Zeitparameter n. Die Übergangsmatrix P ist gegeben durch
pk,k−1 = Nk und pk,k+1 = 1 − Nk , und alle anderen Übergangswahrscheinlichkeiten sind Null.
Siehe Beispiel 9.7.4 für interessante Eigenschaften dieses Modells. 3

Beispiel 9.2.8 (Bernoulli-Laplace-Diffusionsmodell). In zwei Behältern A und B befinden sich

insgesamt w weiße und s schwarze Kugeln, wobei s Kugeln in A liegen, und es sei w ≤ s.
Zu den diskreten Zeitpunkten n = 1, 2, 3, . . . wird jeweils in A und in B eine Kugel zufällig
ausgewählt und in den jeweils anderen Behälter gelegt. Dann ist die Anzahl der weißen Kugeln
in A eine Markovkette auf {0, 1, . . . , w} im Zeitparameter n. Siehe Beispiel 9.5.9 für interessante
Eigenschaften dieses Modells. 3

Beispiel 9.2.9 (Irrfahrten-Maxima). Falls (Sn )n∈N0 eine Irrfahrt auf Z wie in Beispiel 9.1.4 ist,
dann bildet die Folge der Maxima Mn = max{S0 , S1 , . . . , Sn } im Allgemeinen keine Markovkette,
aber die Folge (Mn , Sn )n∈N0 der Paare (Übungsaufgabe). 3

9.3 Klasseneigenschaften, Rekurrenz, Transienz

In diesem Abschnitt sei P eine stochastische Matrix auf I. Wir wollen die Frage untersuchen, ob
die zugehörige Markovkette gegebene Punkte in I mit Sicherheit besucht oder nicht. Es wird sich
in diesem Abschnitt heraus stellen, dass der Zustandsraum zerlegt werden kann in rekurrente
und transiente Klassen. Eine in einer rekurrenten Klasse gestartete Markovkette verlässt die
Klasse nie und besucht jeden Punkt dieser Klasse mit Sicherheit.
Wir müssen zunächst die Frage untersuchen, ob ein gegebener Punkt überhaupt mit positiver
Wahrscheinlichkeit jemals erreicht werden kann. Diese Unterscheidung induziert auf natürliche
Weise eine Einteilung von I in Klassen.

Definition 9.3.1 (erreichbar). Ein Punkt j ∈ I heißt von einem Punkt i ∈ I aus erreichbar,
(n)
falls ein n ∈ N0 existiert mit pi,j > 0. Wir schreiben dann i j. Falls i j und j i, so
schreiben wir i ! j.
9.3. KLASSENEIGENSCHAFTEN, REKURRENZ, TRANSIENZ 149

Bemerkung 9.3.2 (! als Äquivalenzrelation). Die Relation auf I ist reflexiv und transitiv,
denn wegen p(0) i,i = 1 gilt i i für jedes i ∈ I, und falls i j und j k gelten, so folgt aus
(9.1.7) leicht, dass auch i k gilt. Also ist ! eine Äquivalenzrelation auf I und teilt I folglich
in Klassen ein. Für zwei Klassen A, B ⊂ I schreiben wir A B, falls es i ∈ A und j ∈ B
gibt mit i j, und wir sagen dann, dass B von A aus erreichbar ist. (Offensichtlich ist diese
Sprechweise wohldefiniert, d. h. die Definition unabhängig von den gewählten Repräsentanten.)
3

Definition 9.3.3 (abgeschlossen, irreduzibel). (a) Eine Teilmenge J von I heißt abgeschlos-
sen, wenn J 6 I \ J gilt, d. h. wenn keine zwei Elemente j ∈ J und i ∈ I \ J existieren
mit j i.

(b) P heißt irreduzibel, falls I aus einer einzigen Klasse besteht, d. h. wenn je zwei Elemente
aus I äquivalent sind.

Man sieht leicht, dass die Einschränkung PJ = (pi,j )i,j∈J von P auf eine abgeschlossene
Klasse J von I ihrerseits eine stochastische Matrix auf J ist. Falls P irreduzibel ist, so existieren
keine abgeschlossenen echten Teilmengen von I.

Beispiel 9.3.4. (a) Die symmetrische Irrfahrt auf Zd ist irreduzibel.

(b) In Polyas Urnenschema (siehe Beispiel 9.2.6) sind keine zwei Elemente aus I = N20 äqui-
valent. Für jede r0 , s0 ∈ N ist die Menge {(r, s) ∈ I : r ≥ r0 , s ≥ s0 } abgeschlossen.

(c) Die Irrfahrt auf {0, . . . , N }(siehe Beispiel 9.2.5) mit absorbierenden Rändern besitzt die
Äquivalenzklassen {0}, {1, . . . , N −1} und {N }. Die Mengen {0} und {N } sind abgeschlos-
sen, und es gelten {1, . . . , N − 1} {0} und {1, . . . , N − 1} {N }.
3

Es sei (Xn )n∈N0 die zur stochastischen Matrix gehörige Markovkette. Wir führen nun die
Ersteintrittszeit von i ∈ I ein:
Ti = inf{n ∈ N : Xn = i}. (9.3.1)
Falls die Kette den Punkt i gar nicht besucht, dann setzen wir Ti = ∞. Man beachte, dass die
Definition von Ti die gesamte unendlich lange Kette (Xn )n∈N0 erfordert, deren Konstruktion wir
noch nicht durchgeführt haben (siehe Bemerkung 9.1.7). Allerdings hängt das Ereignis {Ti = n}
nur von der Zeit bis n ab, kann also mit unseren Mitteln korrekt behandelt werden. Wir definieren
(n)
fi,j = Pi (Tj = n) = Pi (X1 6= j, X2 6= j, . . . , Xn−1 6= j, Xn = j), i, j ∈ I, n ∈ N. (9.3.2)

(n)
In Worten: fi,j ist die Wahrscheinlichkeit, dass eine in i gestartete Kette zum Zeitpunkt n den
Punkt j zum ersten Mal trifft. Die Summe
∞
X (n)
fi,j = fi,j (9.3.3)
n=1

liegt in [0, 1], da die Ereignisse {Tj = 1}, {Tj = 2}, . . . disjunkt sind. Man kann (und sollte) die
unendliche Summe fi,j als Pi (Tj < ∞) interpretieren, d. h. als die Wahrscheinlichkeit, dass eine
in i gestartete Kette jemals den Punkt j besucht.
150 KAPITEL 9. MARKOVKETTEN

Satz 9.3.5 (Erneuerungsgleichung). Es gilt

n
X
(n) (k) (n−k)
pi,i = fi,i pi,i , n ∈ N, i ∈ I. (9.3.4)
k=1

(n)
Beweis. Gemäß Lemma 9.1.9 gilt pi,i = Pi (Xn = i). Wir spalten das Ereignis {Xn = i} nach
dem ersten Zeitpunkt, an dem die Kette i erreicht, auf und erhalten
n
X n
X
(n) (k)
pi,i = Pi (Ti = k, Xn = i) = Pi (Xn = i | X1 6= i, . . . , Xk−1 6= i, Xk = i)fi,i .
k=1 k=1

Nun wenden wir (9.1.4) und Korollar 9.1.10 an und erhalten

n
X n
X
(n) (k) (k) (n−k)
pi,i = Pi (Xn = i | Xk = i)fi,i = fi,i pi,i .
k=1 k=1

Nun kommen wir zu weiteren zentralen Begriffen der Theorie der Markovketten.
Definition 9.3.6 (Rekurrenz, Transienz). Ein Zustand i ∈ I heißt rekurrent, falls fi,i = 1, und
transient sonst.

Interpretationsgemäß heißt also i rekurrent, falls die in i gestartete Kette mit Sicherheit wie-
der irgendwann einmal zu i zurück kehrt. Wir können diese Eigenschaft in Termen der Potenzen
von P charakterisieren:

p(n)
P
Satz 9.3.7. Ein Zustand i ∈ I ist genau dann rekurrent, wenn n∈N0 i,i = ∞ gilt.

Beweis. Für jedes s ∈ (0, 1) erhalten wir aus der Erneuerungsgleichung (siehe Satz 9.3.5)
X X X n
X X ∞
X
(n) n n (n) n (k) (n−k) (k) k (n−k) n−k
pi,i s = 1 + s pi,i = 1 + s fi,i pi,i =1+ fi,i s pi,i s
n∈N0 n∈N n∈N k=1 k∈N n=k
X X
(k) k (n) n
=1+ fi,i s pi,i s .
k∈N n∈N0

Also haben wir für die beiden Funktionen

X (n) X
π(s) = pi,i sn und φ(s) = (k) k
fi,i s
n∈N0 k∈N

die Beziehung π(s) = 1+π(s)φ(s) hergeleitet. Im Fall 1 = fi,i = φ(1) machen

P wir den Grenzüber-
gang s ↑ 1 und erhalten π(1) = 1 + π(1), was natürlich impliziert, dass n∈N0 p(n)
i,i = π(1) = ∞.
1
Falls fi,i < 1, so formen wir zunächst um zu π(s) = 1−φ(s) und lassen dann s ↑ 1, was auf
P (n) 1
n∈N0 pi,i = 1−fi,i < ∞ führt und den Beweis beendet.

Die in Satz 9.3.7 auftretende Reihe kann interpretiert werden:

X (n) X X
pi,i = Ei (1l{Xn =i} ) = Ei 1l{Xn =i} ,
n∈N0 n∈N0 n∈N0
9.3. KLASSENEIGENSCHAFTEN, REKURRENZ, TRANSIENZ 151

also ist sie gleich der erwarteten Anzahl der Besuche in i für die unendlich lange in i gestartete
Markovkette. Der Zustand i ist also nach Satz 9.3.7 genau dann transient, wenn diese Kette
ihren Startpunkt erwartungsgemäß nur endlich oft besucht.
Rekurrenz und Transienz sind Klasseneigenschaften:
Satz 9.3.8. Es seien i, j ∈ I mit i ! j. Dann ist i genau dann rekurrent, wenn j es ist.

Beweis. Übungsaufgabe.
Also können und werden wir in Zukunft auch von rekurrenten bzw. transienten Klassen
sprechen und bei Irreduzibilität von rekurrenten bzw. transienten Markovketten. Das Kriterium
aus Satz 9.3.7 kann man benutzen, um beispielsweise die Rekurrenz der d-dimensionalen Irrfahrt
aus Beispiel 9.2.4 zu entscheiden:
Satz 9.3.9. Die d-dimensionale symmetrische Irrfahrt auf Zd ist rekurrent für d ∈ {1, 2} und
transient für d ≥ 3.

Beweisskizze. Wegen der Verschiebungsinvarianz genügt es, die Divergenz bzw. Konvergenz der
Reihe n∈N p0,0 zu untersuchen. Wir sind in der glücklichen Lage, den Wert von p(n)
(n)
P
0,0 ausrechnen
zu können. Natürlich ist immer p(2n−1)
0,0 = 0 für alle n ∈ N.
2n −2n
In d = 1 ist leicht zu sehen, dass p(2n)

0,0 = n 2 für alle n ∈ N, und Stirlings Formel zeigt,
(2n) −1/2 (n)
P
dass p0,0 ∼ (πn) für n → ∞. Also ist n∈N p0,0 = ∞ für d = 1.
In d = 2 schreiben wir Xn = (Xn(1) , Xn(2) ) für die beiden Komponenten und nutzen die Beob-
achtung aus, dass die beiden Folgen (Xn(1) − Xn(2) )n∈N0 und (Xn(1) + Xn(2) )n∈N0 zwei unabhängige
2n −2n 2
eindimensionale symmetrische Irrfahrten auf Z sind. Folglich ist p(2n)

0,0 = n 2 , und wie
1
oben sieht man, dass dies sich wie πn verhält, also ebenfalls nicht summierbar ist.
Den Fall d ≥ 3 kann man auf den Grenzfall d = 3 zurückführen. Im Fall d = 3 stellt man
den Wert von p(2n)
0,0 mit Hilfe einer Doppelsumme dar (nach einer Aufspaltung, wieviele Schritte
jeweils in die drei Dimensionsrichtungen geschehen) und schätzt diese mit einiger Arbeit geeignet
ab, bis man sieht, dass p(2n) −3/2 ist.
0,0 von der Ordnung n

Im Folgenden zeigen wir insbesondere, dass die Markovkette, wenn sie in einer rekurrenten
Klasse gestartet wird, jeden Zustand in dieser Klasse mit Sicherheit besucht, siehe Lemma 9.3.13.
Zunächst ziehen wir eine Folgerung aus der Erneuerungsgleichung.
Lemma 9.3.10. Für alle i, j ∈ I gilt
X X
p(n)
i,j = fi,j p(n)
j,j .
n∈N n∈N0

Beweis. Genau wie im Beweis der Erneuerungsgleichung (Satz 9.3.5) leitet man die Beziehung
n
X
(n) (k) (n−k)
pi,j = fi,j pj,j
k=1

für alle n ∈ N her. Nun summiert man diese Beziehung über n ∈ N, vertauscht auf der rech-
ten Seite die beiden Summationen und verschiebt die eine davon (ähnlich wie im Beweis von
Satz 9.3.7).
152 KAPITEL 9. MARKOVKETTEN

Korollar 9.3.11. Für alle i, j ∈ I gilt:

X
j transient =⇒ p(n)
i,j < ∞.
n∈N0

Aus dem folgenden Ergebnis folgt insbesondere, dass Klassen, die nicht abgeschlossen sind,
zwangsläufig transient sind. (Abgeschlossene Klassen können hingegen sowohl rekurrent als auch
transient sein.)
Lemma 9.3.12. Es seien i, j ∈ I mit i j. Falls i rekurrent ist, so gilt auch j i, und j ist
dann ebenfalls rekurrent.

Beweis. Wir dürfen i 6= j annehmen. Wir führen einen Widerspruchsbeweis und nehmen an,
dass i nicht von j aus erreichbar ist, d. h. dass p(n)
j,i = 0 für alle n ∈ N0 ist.
Sei N ∈ N die kleinste Zahl n mit p(n)
i,j > 0. Für alle n ∈ N gilt dann Pi (XN = j, Xn = i) = 0,
denn für n > N gilt ja Pi (XN = j, Xn = i) = p(N ) (n−N )
i,j pj,i = 0, und für n < N gilt Pi (XN =
(n) (N −n)
j, Xn = i) = pi,i pi,j = 0, denn N ist ja das kleinste n mit p(n)i,j > 0. Daher haben wir
M
X M
X
Pi (Ti ≤ M, XN = j) = Pi (Ti = n, XN = j) ≤ Pi (Xn = i, XN = j) = 0.
n=1 n=1

Also folgt
M
X (n)
fi,i = Pi (Ti ≤ M ) = Pi (Ti ≤ M, XN 6= j) ≤ Pi (XN 6= j) = 1 − Pi (XN = j) = 1 − p(N )
i,j .
n=1

Nun lassen wir M ↑ ∞ und beachten, dass die rechte Seite der Abschätzung nicht von M
abhängt. Mit der Rekurrenz von i folgt der Widerspruch 1 = fi,i = n∈N fi,i ≤ 1 − p(N
(n) )
P
i,j < 1.

Insbesondere sind rekurrente Klassen abgeschlossen. (Transiente Klassen müssen nicht ab-
geschlossen sein.) Insbesondere ist die Einschränkung von P auf eine rekurrente Klasse (siehe
die Bemerkung nach Definition 9.3.3) wieder eine stochastische Matrix, die dann natürlich auch
irreduzibel ist. Daher lassen sich also die einzelnen rekurrenten Klassen getrennt diskutieren.
Lemma 9.3.13. Wenn i und j in der selben rekurrenten Klasse liegen, so gilt fi,j = fj,i = 1.

Beweis. Wir dürfen i 6= j annehmen. Sei N das kleinste n ∈ N mit p(n)

j,i > 0. Für M > N gilt
M
X
Pj (Tj ≤ M, XN = i) = Pj (Tj = n, XN = i)
n=1
N
X −1 M
X
(n) (N −n) (n−N )
= fj,j pj,i + Pj (Tj ≥ N, XN = i)fi,j .
n=1 n=N +1
−n)
Nach Definition ist aber p(N
j,i = 0 für jedes n ∈ {1, . . . , N − 1}, also ist die erste Summe auf
der rechten Seite gleich Null. In der zweiten schätzen wir ab: Pj (Tj ≥ N, XN = i) ≤ p(N )
j,i , also
erhalten wir aus der obigen Rechnung
M
X
Pj (Tj ≤ M, XN = i) ≤ p(N ) (n−N )
j,i fi,j ≤ p(N )
j,i fi,j .
n=N +1
9.4. STOPPZEITEN UND DIE STARKE MARKOV-EIGENSCHAFT 153

PM (k)
Nun lassen wir M ↑ ∞ und beachten, dass limM →∞ Pj (Tj ≤ M ) = limM →∞ k=1 fj,j = fj,j =
1, also folgt
(N )
pj,i = Pj (XN = i) = lim Pj (Tj ≤ M, XN = i) ≤ p(N )
j,i fi,j .
M →∞
(N )
Wegen fi,j ≤ 1 und pj,i > 0 ergibt sich fi,j = 1, und dies beendet den Beweis.
Ein sehr handliches und simples hinreichendes Kriterium für Rekurrenz ist das Folgende.

Satz 9.3.14. Wenn I endlich ist, so ist jede irreduzible Kette rekurrent.

P (n)
Beweis. Wegen j∈I pi,j = 1 für jedes n ∈ N und jedes i ∈ I folgt, dass zu jedem i ein j
(n)
existiert mit n∈N pi,j = ∞, denn es gilt ja j∈I ( n∈N p(n)
P P P
i,j ) = ∞, und irgendeiner der endlich
(n)
vielen Summanden n∈N pi,j muss gleich ∞ sein. Aus Lemma 9.3.10 folgt n∈N p(n)
P P
j,j = ∞, und
es folgt die Rekurrenz von j.

9.4 Stoppzeiten und die starke Markov-Eigenschaft

Stoppzeiten sind zufällige Zeiten, die nicht in die Zukunft blicken können. Im Zusammenhang
mit Markovketten sind Stoppzeiten die Eintrittszeitpunkte gewisser Ereignisse, deren Eintreten
durch die bisherige ‘Geschichte’ der Kette beurteilt werden kann.
Im Folgenden sei (Xn )n∈N0 eine Markovkette auf I mit Übergangsmatrix P . In diesem
Abschnitt empfiehlt es sich anzunehmen, dass alle Zufallsgrößen Xn mit n ∈ N auf einem ge-
meinsamen Wahrscheinlichkeitsraum Ω definiert sind, und das werden wir tun.

Definition 9.4.1 (Filtrierung, Stoppzeit). (a) Für jedes n ∈ N0 sei Fn die Menge der Ereig-
nisse von der Form {ω ∈ Ω : X[0,n] (ω) ∈ B} mit B ⊂ I n+1 , d. h. die Menge der Ereig-
nisse, die mit Hilfe der Zufallsgrößen X0 , . . . , Xn beschrieben werden können. Die Familie
F = (Fn )n∈N0 nennt man die zu (Xn )n∈N0 gehörige Filtrierung.

(b) Eine Abbildung T : Ω → N0 ∪{∞} heißt eine Stoppzeit, wenn für jedes n ∈ N0 das Ereignis
{T = n} in Fn liegt.

Eine Filtrierung ist immer aufsteigend, denn es gilt ja Fn ⊂ Fn+1 für jedes n. Das Ereignis
{T = ∞} kann man interpretieren als das Ereignis, dass die Stoppzeit T nie eintritt. Ein Beispiel
von Stoppzeiten sind die Ersteintrittszeiten Ti = inf{n ∈ N : Xn = i} in einen Punkt i für eine
Markovkette (Xn )n∈N0 . Etwas allgemeiner definiert man die Ersteintrittszeit in eine nichtleere
Menge A ⊂ I als
TA = inf{n ∈ N : Xn ∈ A}.
Falls man den Zeitpunkt 0 einbeziehen möchte, benutzt man die Stoppzeit

SA = inf{n ∈ N0 : Xn ∈ A}.

Falls i ∈ A, so gilt Pi (SA = 0) = 1. Ferner gilt für i ∈

/ A die Beziehung Pi (TA = SA ) = 1. Ein
anderes Beispiel für eine Stoppzeit ist der erste Zeitpunkt, an dem eine Selbstüberschneidung
auftritt:
T = inf n ∈ N : Xn = Xm für ein m ∈ {0, . . . , n − 1} .
154 KAPITEL 9. MARKOVKETTEN

Wir kommen nun zur starken Markov-Eigenschaft. Diese besagt im Wesentlichen, dass die
gewöhnliche Markov-Eigenschaft, die in Satz 9.1.5 formuliert wurde, auch an Stoppzeiten gilt,
d. h. dass die ab einer Stoppzeit T betrachtete Restkette (XT , XT +1 , . . . ), gegeben das Ereignis
{XT = i} für ein i ∈ I, wieder eine Markovkette mit der selben Übergangsmatrix und Start in i
ist und dass sie ferner unabhängig von der Kette vor dem Zeitpunkt T ist, also unabhängig von
(X0 , X1 , . . . , XT ). Die Menge aller Ereignisse, die der Kette (X0 , X1 , . . . , XT ) zustoßen können,
ist ein wichtiges System von Ereignissen:
Definition 9.4.2 (Prä-T -Ereignis). Es sei T : Ω → N0 ∪ {∞} eine Stoppzeit. Wir nennen ein
Ereignis A ⊂ Ω ein Prä-T -Ereignis, falls das Ereignis A ∩ {T = n} für jedes n ∈ N0 in Fn liegt.
Die Menge aller Prä-T -Ereignisse bezeichnen wir mit FT .

Wir definieren die I-wertige Zufallsgröße XT als XT (ω) (ω), allerdings nur auf der Menge
{ω ∈ Ω : T (ω) < ∞}. Falls T (ω) = ∞, so ist also XT nicht definiert. Daraus folgt, dass das
Ereignis {XT = i} insbesondere impliziert, dass T < ∞.
Nun folgt eine exakte Formulierung der starken Markov-Eigenschaft.

Satz 9.4.3 (starke Markov-Eigenschaft). Es sei (Xn )n∈N0 eine Markovkette, T eine Stoppzeit,
A ∈ FT und B ⊂ I m für ein m ∈ N. Falls P(XT = i, A) > 0, so gilt

P(X[T +1,T +m] ∈ B | XT = i, A) = Pi (X[1,m] ∈ B). (9.4.1)

Beweis. Wir multiplizieren mit P(XT = i, A) und brauchen nur die Gleichung

P(X[T +1,T +m] ∈ B, XT = i, A) = Pi (X[1,m] ∈ B)P(XT = i, A)

zu zeigen. Dies tun wir durch Aufspaltung nach allen (endlichen) Werten, die T annehmen kann:
Die linke Seite ist gleich
X
P(X[n+1,n+m] ∈ B, Xn = i, A, T = n).
n∈N0

Da A ∈ FT , liegt das Ereignis A ∩ {T = n} in Fn . Also können wir die gewöhnliche Markov-

Eigenschaft anwenden (siehe etwa Korollar 9.1.6) und erhalten

P(X[n+1,n+m] ∈ B, Xn = i, A, T = n) = P(Xn = i, A, T = n)Pi (X[1,m] ∈ B).

Aufsummation über n ∈ N0 beendet den Beweis.

Damit können wir die Intuition hinter Satz 9.3.7 (siehe die Bemerkung danach) verschärfen:
Die Anzahl der Besuche zu einem gegebenen rekurrenten Punkt hat nicht nur unendlichen
Erwartungswert, sondern ist sogar konstant gleich ∞:
P
Korollar 9.4.4. Es sei i ∈ I mit pi = Pi (Ti = ∞) < 1. Es sei Vi = n∈N0 1l{Xn =i} ∈ N ∪ {∞}
die Anzahl der Besuche in i. Dann gilt Pi (Vi > k) = (1 − pi )k für jedes k ∈ N, d. h., Vi ist unter
Pi geometrisch verteilt auf N, falls i transient ist, und konstant gleich ∞, falls i rekurrent ist.

Beweis. Wir definieren die sukzessiven Zeitpunkte der Besuche in i durch Ti(0) = 0 und Ti(k+1) =
inf{n > Ti(k) : Xn = i} für k ∈ N0 . Das Ereignis {Vi > k} ist also gleich dem Ereignis {Ti(k) < ∞},
9.5. GLEICHGEWICHTSVERTEILUNGEN 155

falls die Kette in i startet. Ferner gilt offensichtlich Pi (XT (k) = i | Ti(k) < ∞) = 1. Also gilt für
i
alle k, l ∈ N:

Pi (Vi > k + l | Vi > l) = Pi (Ti(k+l) < ∞ | Ti(l) < ∞)

= lim Pi (Ti(k+l) ≤ Ti(l) + n | XT (l) = i, Ti(l) < ∞)
n→∞ i

= lim Pi (Ti(k) ≤ n) = Pi (Ti(k) < ∞)

n→∞
= Pi (Vi > k).

Im dritten Schritt benutzten wir die starke Markov-Eigenschaft (9.4.1) mit A = {Ti(l) < ∞} und
B = {Ti(k) ≤ n}.
Also ist Vi auf N geometrisch verteilt, und zwar mit Parameter Pi (Vi = 1) = 1 − Pi (Vi >
1) = 1 − Pi (Ti < ∞) = Pi (Ti = ∞) = pi . Wie man leicht sieht, gilt dies auch im Fall pi = 0,
wobei dann Vi = ∞ mit Pi -Wahrscheinlichkeit Eins.

Beispiel 9.4.5. Es sei (Xn )n∈N0 die Irrfahrt auf Z wie in Beispiel 9.2.3. Wir wollen berech-
nen, wie lange die Irrfahrt im Durchschnitt benötigt, um einen gegebenen Punkt zu erreichen.
Genauer: Wir wollen P0 (T1 < ∞) und E0 (T1 ) berechnen.
Zunächst sieht man mit Hilfe der starken Markov-Eigenschaft und der räumlichen Verschie-
bungsinvarianz der Irrfahrt ein, dass P0 (T2 < ∞) = P0 (T1 < ∞)P1 (T2 < ∞) = P0 (T1 < ∞)2 gilt
(der formale Beweis ist eine Übungsaufgabe). Ferner benutzt man die (gewöhnliche) Markov-
Eigenschaft zum Zeitpunkt Eins, um die Gleichung P0 (T1 < ∞) = p + (1 − p)P−1 (T1 < ∞)
aufzustellen. Wieder mit Hilfe der Verschiebungsinvarianz und der ersten Beobachtung erhält
man die quadratische Gleichung P0 (T1 < ∞) = p + (1 − p)P0 (T1 < ∞)2 . Diese hat die beiden
Lösungen 
p 1
1 ± 1 − 4p(1 − p) 1 ± |2p − 1| 
P0 (T1 < ∞) = = = oder
2(1 − p) 2(1 − p)  p

1−p .
p
Im Fall p ≥ 12 ergibt sich sofort, dass P0 (T1 < ∞) = 1, denn 1−p > 1 für p > 21 . Im Fall p < 12
p
gilt P0 (T1 < ∞) = 1−p < 1, aber unsere Mittel reichen derzeit noch nicht aus, dies zu beweisen.2
Für p ≥ 21 erreicht die Irrfahrt also den Punkt 1 von 0 aus mit Sicherheit, und man zeigt mit der
starken Markov-Eigenschaft leicht, dass dann auch jedes andere i ∈ N mit Sicherheit erreicht
wird.
Mit der (gewöhnlichen) Markov-Eigenschaft leitet man im Fall p ≥ 12 auch leicht die Bezie-
hung E0 (T1 ) = p + (1 − p)[1 + E−1 (T1 )] her, und die starke impliziert, dass E−1 (T1 ) = E0 (T2 ) =
1
2E0 (T1 ). Also gilt E0 (T1 ) = 1−2(1−p) , was im symmetrischen Fall gleich ∞ ist. 3

9.5 Gleichgewichtsverteilungen
Im Allgemeinen hängt die Verteilung einer Markovkette zu einem gegebenen Zeitpunkt auf sehr
komplizierte Weise ab von der Startverteilung (und natürlich von dem Zeitpunkt). Oft gibt es
aber für eine gegebene Übergangsmatrix spezielle Verteilungen, so dass die mit dieser Verteilung
2
Dies folgt etwa aus dem Starken Gesetz der Großen Zahlen, zusammen mit dem Hinweis auf E0 (S1 ) < 0, d. h.
es gilt insbesondere limn→∞ Sn = −∞ mit P0 -Wahrscheinlichkeit Eins.
156 KAPITEL 9. MARKOVKETTEN

gestartete Kette zu jedem Zeitpunkt dieselbe Verteilung besitzt, nämlich diese Startverteilung.
Man sagt, die Kette sei dann im Gleichgewicht bzw. sie sei stationär.
Wie bisher sei I eine höchstens abzählbare Menge und P eine stochastische Matrix auf I.
P ν : I → [0, ∞) ein Maß nennen und erinnern uns, dass ein Maß ν eine
Wir wollen jede Abbildung
Verteilung P
heißt, falls i∈I ν(i) = 1 gilt. Außerdem erinnern wir uns, dass νP das Matrixprodukt
(νP )(j) = i∈I ν(i)pi,j bezeichnet.

Definition 9.5.1 (invariantes Maß, Gleichgewichtsverteilung). Ein Maß ν heisst invariant für
P , falls νP = ν gilt, d. h. falls ν ein (nichtnegativer) Links-Eigenvektor von P zum Eigenwert 1
ist. Falls ν eine Verteilung und invariant ist, nennt man ν auch eine Gleichgewichtsverteilung
für P .

Bemerkung 9.5.2. (a) Wenn I endlich ist, kann jedes invariante Maß zu einer Gleichge-
wichtsverteilung normiert werden.

(b) Die Frage, ob P ein invariantes Maß besitzt, ist a priori nicht leicht zu beantworten. Man
muss im Prinzip das Gleichungssystem νP = ν lösen und prüfen, ob es eine nichtnegative
Lösung ν gibt.

(c) Offensichtlich ist ein für P invariantes Maß auch für jede Potenz von P invariant. Falls
P irreduzibel ist und ν 6= 0 ein invariantes Maß ist, so ist ν(i) > 0 für jedes i ∈ I. Denn
wegen ν 6= 0 existiert ein i0 ∈ I mit ν(i0 ) > 0, und dann folgt für jedes i ∈ I (mit einem
n ∈ N, so dass pi(n)
0 ,i
> 0): ν(i) ≥ ν(i0 )p(n)
i0 ,i > 0.

(d) Wenn ν eine Gleichgewichtsverteilung ist, dann gilt für jedes n ∈ N0 und jedes j ∈ I:
X
Pν (Xn = j) = ν(i)p(n)
i,j = ν(j),
i∈I

d. h. die mit Verteilung ν gestartete Kette hat zu jedem Zeitpunkt die selbe Verteilung ν.
3

Sehr oft kann das invariante Maß nicht sinnvoll explizit angegeben werden, und es gibt
wenige Beispiele, in denen das invariante Maß eine der bekannten Verteilungen ist. Für die
symmetrische Irrfahrt auf Z (siehe Beispiel 9.2.3) ist die Gleichverteilung auf Z invariant, aber
offensichtlich kann man sie nicht zu einer Gleichgewichtsverteilung normieren. Für die Irrfahrt
auf {0, . . . , N } (siehe Beispiel 9.2.5) mit absorbierenden Rändern 0 und N sind die beiden
Verteilungen invariant, die auf {0} bzw. auf {N } konzentriert sind. Für weitere Beispiele siehe
Lemma 9.5.8 und Beispiele 9.5.9 und 9.7.4.
Für den Rest dieses Abschnittes setzen wir voraus, dass P irreduzibel ist, also dass I aus
einer einzigen Äquivalenzklasse besteht. Zunächst zeigen wir, dass im Falle der Rekurrenz immer
mindestens ein invariantes Maß existiert, und zwar, für beliebiges k ∈ I, das Maß γk , gegeben
als
Tk
X
γk (i) = Ek 1l{Xn =i} .
n=1

In Worten: γk (i) ist die erwartete Zahl der Besuche in i für eine in k gestartete Markovkette,
die betrachtet wird bis zur ersten Rückkehr zum Startpunkt k.

Satz 9.5.3. Sei P irreduzibel und rekurrent, und sei k ∈ I. Dann gelten:
9.5. GLEICHGEWICHTSVERTEILUNGEN 157

(a) γk ist ein invariantes Maß.

(b) Für jedes i ∈ I gilt 0 < γk (i) < ∞.
(c) γk ist das einzige invariante Maß mit Wert 1 in k.

Beweis. (a) Wir schreiben zunächst γk (i) wie folgt:

X X
γk (i) = Ek 1l{Xn =i,n≤Tk } = Pk (Xn = i, n ≤ Tk )
n∈N n∈N
XX
= Pk (Xn = i, Xn−1 = j, n ≤ Tk ).
n∈N j∈I

Man beachte, dass das Ereignis {n ≤ Tk } = {Tk ≤ n − 1}c in Fn−1 liegt. Also können wir die
Markov-Eigenschaft zum Zeitpunkt n − 1 anwenden:
Pk (Xn = i, Xn−1 = j, n ≤ Tk ) = Pk (Xn−1 = j, n ≤ Tk )Pj (X1 = i)
= Pk (Xn−1 = j, n − 1 ≤ Tk − 1)pj,i .
Dies setzen wir oben ein und erhalten nach einer Indexverschiebung
X X X k −1
TX
γk (i) = pj,i Pk (Xn = j, n ≤ Tk − 1) = pj,i Ek 1l{Xn =j}
j∈I n∈N0 j∈I n=0

X Tk
X X
= pj,i Ek 1l{Xn =j} = γk (j)pj,i .
j∈I n=1 j∈I

(b) Auf Grund von (a) ist γk auch invariant für P n für jedes n ∈ N, also folgt insbesondere
(n)
1 = γk (k) ≥ γk (j)pj,k für jedes j ∈ I. Wegen der Irreduzibilität gibt es für jedes j ein n mit
pj,k > 0, und somit folgt γk (j) < ∞ für jedes j. Andererseits folgt auch γk (j) ≥ γk (k)p(n)
(n) (n)
k,j = pk,j ,
was positiv ist für geeignetes n.
P
(c) Es sei λ ein invariantes Maß mit λ(k) = 1. Dann haben wir λ(j) = i∈I\{k} λ(i)pi,j +pk,j
für jedes j. Nun ersetzen wir auf der rechten Seite λ(i) ebenfalls mit Hilfe der Invarianz und
erhalten
X X
λ(j) = λ(i1 )pi1 ,i + pk,i pi,j + pk,j
i∈I\{k} i1 ∈I\{k}
X X
= λ(i1 )pi1 ,i pi,j + pk,i pi,j + pk,j
i,i1 ∈I\{k} i∈I\{k}
X
= λ(i1 )pi1 ,i pi,j + Pk (Tk ≥ 2, X2 = j) + Pk (Tk ≥ 1, X1 = j).
i,i1 ∈I\{k}

In dieser Weise fahren wir iterativ fort und erhalten für jedes n ∈ N
X n
Y n+1
X
λ(j) = λ(in ) pir ,ir−1 pi0 ,j + Pk (Tk ≥ r, Xr = j)
i0 ,i1 ,...,in ∈I\{k} r=1 r=1

n+1
X min{T
Xk ,n+1}
≥ Pk (Tk ≥ r, Xr = j) = Ek 1l{Xr =j} .
r=1 r=1
158 KAPITEL 9. MARKOVKETTEN

Nun lassen wir n → ∞ und erhalten auf der rechten Seite γk (j) als Grenzwert. (Dies ist der
Punkt, an dem wir benutzen, dass die Kette rekurrent ist, also Tk endlich ist mit Wahrschein-
lichkeit Eins, denn deshalb konvergiert min{Tk , n + 1} monoton gegen Tk mit Wahrscheinlich-
keit Eins, und der monotone Konvergenzsatz ist anwendbar.) Also haben wir gezeigt, dass
λ(j) ≥ γk (j) für alle j ∈ I. Daher ist λ − γk ebenfalls ein invariantes Maß. Da dieses Maß
allerdings eine Nullstelle besitzt (nämlich in k), ist es nach Bemerkung 9.5.2(c) identisch gleich
Null. Dies beendet den Beweis.
Zusammen mit Satz 9.3.14 wissen wir nun, dass jede endliche irreduzible stochastische
Matrix immer eine Gleichgewichtsverteilung besitzt.
Der folgende Satz 9.5.5 klärt die Frage nach der Existenz von Gleichgewichtsverteilungen
und ist einer der wichtigsten Sätze über Markovketten. Die Antwort ist eng verknüpft mit der
erwarteten Rückkehrzeit µi = Ei (Ti ) zu einem Startpunkt i ∈ I. Falls Pi (Ti = ∞) > 0, so ist
natürlich µi = ∞. Ansonsten kann man schreiben
X X (n)
µi = Ei (Ti ) = nPi (Ti = n) = nfi,i ∈ [0, ∞].
n∈N n∈N

Falls µi < ∞ (d. h. falls die Irrfahrt nach endlicher erwarteter Zeit zu ihrem Startpunkt i zurück
kehrt), dann ist natürlich Pi (Ti < ∞) = 1, die Irrfahrt also rekurrent. Mit Hilfe von µi können
wir also rekurrente Zustände feiner unterteilen:
Definition 9.5.4 (positive und Nullrekurrenz). Ein Zustand i ∈ I heißt positiv rekurrent, falls
µi < ∞, und nullrekurrent, falls i rekurrent, aber nicht positiv rekurrent ist.

Der folgende Satz zeigt insbesondere, dass die Existenz von Gleichgewichtsverteilungen äqui-
valent zur positiven Rekurrenz ist:

Satz 9.5.5. Sei P irreduzibel, dann sind die folgenden drei Aussagen äquivalent.
(i) Es existiert eine Gleichgewichtsverteilung.

(ii) Es gibt einen positiv rekurrenten Zustand in I.

(iii) Alle Zustände in I sind positiv rekurrent.

Sind diese Bedingungen erfüllt, so ist die Gleichgewichtsverteilung π eindeutig bestimmt und
durch π(i) = µ1i gegeben.

Beweis. Die Richtung (iii) =⇒ (ii) ist trivial. Wir zeigen nun (ii) =⇒ (i). Sei k ∈ I mit µk < ∞,
dann ist wegen Irreduzibilität die Kette rekurrent. Nach Satz 9.5.3 ist γk ein invariantes Maß.
Man sieht, dass

X X Tk
X Tk X
X
γk (j) = Ek 1l{Xn =j} = Ek 1l{Xn =j} = Ek (Tk ) = µk < ∞. (9.5.1)
j∈I j∈I n=1 n=1 j∈I

Also kann man γk zu einer Gleichgewichtsverteilung normieren, d. h. (i) folgt.

Nun beweisen wir (i) =⇒ (iii). Sei π eine Gleichgewichtsverteilung, und sei k ∈ I. Dann ist
γ = π/π(k) ein invariantes Maß mit γ(k) = 1. Nach Satz 9.5.3 gilt γ = γk . Wie in (9.5.1) sieht
9.5. GLEICHGEWICHTSVERTEILUNGEN 159

man, dass
X X 1 X 1
µk = γk (j) = γ(j) = π(j) = < ∞.
π(k) π(k)
j∈I j∈I j∈I

Also ist (iii) gezeigt.

Die Zusatzaussage ergibt sich aus den obigen Beweisen.
Also ergibt sich eine Trichotomie für irreduzible Markovketten:
Bemerkung 9.5.6 (Klassifikation). Jede irreduzible Markovkette gehört immer zu genau einem
der folgenden drei Fälle:
• Die Kette ist transient, für alle i ∈ I gilt Pi (Ti < ∞) < 1, und es gibt keine invariante
Verteilung.
• Die Kette ist nullrekurrent, für alle i ∈ I gilt Pi (Ti < ∞) = 1 und Ei (Tj ) = ∞, und es gibt
zwar ein invariantes Maß, aber keine invariante Verteilung.
• Die Kette ist positiv rekurrent, für alle i ∈ I gilt Ei (Ti ) < ∞, und es gibt eine invariante
Verteilung.

3
Bemerkung 9.5.7. (i) Auf Grund von Satz 9.3.14 kann bei endlichem Zustandsraum I nur
der positiv rekurrente Fall auftreten.
(ii) Die eindimensionale einfache Irrfahrt (siehe Beispiel 9.2.3) ist nullrekurrent. Denn sie ist
rekurrent (siehe Satz 9.3.9) und besitzt das konstante Maß als ein invariantes Maß, welches
sich nicht normieren lässt.
(iii) Die dreidimensionale einfache Irrfahrt (siehe Beispiel 9.2.4) ist transient und besitzt ein
invariantes Maß (das konstante Maß), aber keine invariante Verteilung.
(iv) Im transienten Fall muss nicht unbedingt Pi (Tj < ∞) < 1 für alle i, j ∈ I gelten, wie das
Beispiel einer Irrfahrt auf Z mit positiver Drift und i = 0 und j = 1 zeigt.
(v) Im nullrekurrenten Fall muss nicht unbedingt Pi (Tj < ∞) = 1 für alle i, j ∈ I gelten, wie
das Beispiel einer symmetrischen Irrfahrt auf N0 mit reflektierendem Randpunkt 0 und
i = 0 und j = 1 zeigt. 3

In den meisten Fällen, selbst bei endlichem I, kann man die Gleichgewichtsverteilung nicht
sinnvoll explizit angeben, die Formel wäre zu kompliziert. Ein schönes Gegenbeispiel ist die
µ-Irrfahrt auf einer Gruppe, siehe Beispiel 9.2.2:
Lemma 9.5.8. Es seien G eine endliche Gruppe und µ eine Verteilung auf G. Dann ist die
Gleichverteilung auf G eine Gleichgewichtsverteilung der µ-Irrfahrt. Falls die Irrfahrt irreduzibel
ist, so ist sie auch die einzige Gleichgewichtsverteilung.

Beweis. Für jedes g ∈ G ist die Abbildung h 7→ g −1 h bijektiv auf G, und es gilt
X X X
pg,h = µ(g −1 h) = µ(g 0 ) = 1.
g∈G g∈G g 0 ∈G
160 KAPITEL 9. MARKOVKETTEN

Beispiel 9.5.9 (Bernoulli-Laplace-Diffusionsmodell). Noch ein Beispiel, in dem die invariante

Verteilung explizit angegeben werden kann, ist das Diffusionsmodell aus Beispiel 9.2.8. Hier ist
die hypergeometrische Verteilung ν(i) = si w−iw
s+w
3

/ w invariant auf {0, 1, . . . , w}.

9.6 Konvergenz gegen die Gleichgewichtsverteilung

Das Hauptergebnis dieses Abschnittes (und eine der wichtigsten Eigenschaften von Markovket-
ten) ist die Tatsache, dass jede irreduzible aperiodische und positiv rekurrente Markovkette bei
divergierender Laufzeit gegen ihre Gleichgewichtsverteilung konvergiert. Hierbei nennen wir ei-
ne Markovkette bzw. ihre Übergangsmatrix P aperiodisch, wenn für jedes i ∈ I die sogenannte
Periode von i,
di = ggT{n ∈ N : p(n)
i,i > 0},

gleich Eins ist. Wir wollen uns im Folgenden auf aperiodische Markovketten beschränken, d. h.
wir werden voraussetzen, dass di = 1 für jedes i ∈ I gilt. Unser Hauptergebnis ist:

Satz 9.6.1. Es sei P irreduzibel, aperiodisch und positiv rekurrent mit Gleichgewichtsverteilung
π. Dann gilt für alle i, j ∈ I:
lim p(n)
i,j = π(j).
n→∞

Als Übungsaufgabe zeigt man leicht, dass auch für jede Startverteilung ν und jedes j ∈ I
gilt: limn→∞ Pν (Xn = j) = π(j). Falls die Markovkette nicht aperiodisch ist, also wenn sie etwa
die Periode d > 1 hat3 , dann zeigt man leicht, dass die Matrix P d auf gewissen Teilmengen
aperiodisch ist, und kann Satz 9.6.1 auf geeignete Teilmatrizen von P d anwenden.
Als Vorbereitung des Beweises von Satz 9.6.1 charakterisieren wir die Aperiodizität:

Lemma 9.6.2. P ist genau dann irreduzibel und aperiodisch, wenn für jede i, j ∈ I ein n0 ∈ N
(n)
existiert, so dass pi,j > 0 für alle n ≥ n0 gilt.

Beweis. Dieser Beweis ist länglich und benutzt ausschließlich zahlentheoretische Argumente
und wird daher weggelassen. Siehe etwa [Se81].

Beweis von Satz 9.6.1. Wie immer sei (Xn )n∈N0 eine Markovkette mit Übergangsmatrix P und
Start in i unter Pi . Wir wollen also zeigen, dass Pi (Xn = j) für n → ∞ gegen π(j) konvergiert.
Wir benutzen ein sogenanntes Kopplungsargument, das die Untersuchung der betrachteten
Markovkette (Xn )n∈N0 koppelt mit einer weiteren, unabhängigen Markovkette (Yn )n∈N0 mit der
selben Übergangsmatrix, wobei allerdings (Yn )n∈N0 mit der Gleichgewichtsverteilung π gestartet
wird. Daraus folgt, dass die Verteilung von Yn zu jedem festen Zeitpunkt n exakt gleich π ist,
siehe Bemerkung 9.5.2(d). Unsere Hauptaufgabe besteht nun darin zu beweisen, dass die erste
Kette irgendwann einmal die zweite trifft, d. h. dass sich beide Ketten jemals im selben Zustand
befinden. Mit anderen Worten, wir werden zeigen, dass die Treffzeit

T = inf{n ∈ N0 : Xn = Yn }
3
Man kann leicht zeigen, dass die Periode eine Klasseneigenschaft ist, d. h. dass die Abbildung i 7→ di konstant
auf den Klassen ist.
9.6. KONVERGENZ GEGEN DIE GLEICHGEWICHTSVERTEILUNG 161

mit Sicherheit endlich ist. Dann definieren wir die gekoppelte Kette (Zn )n∈N0 durch
(
Xn für n ≤ T,
Zn =
Yn für n > T,

und zeigen, dass (Zn )n∈N0 ebenfalls eine Markovkette mit Übergangsmatrix P ist. Danach ist
der Beweis schnell beendet.
Wir kommen zu den Details. Als Erstes sieht man, dass die Paar-Markovkette (Xn , Yn )n∈N0
die Übergangsmatrix Pb auf I × I mit pb(i,j),(k,l) = pi,k pj,l für alle i, j, k, l ∈ I besitzt. Für
(n) (n) (n)
alle n ∈ N gilt auch pb(i,j),(k,l) = pi,k pj,l , wovon man sich leicht überzeugt. Die Aperiodizität
von Pb zeigt man leicht als Übungsaufgabe mit Hilfe von Lemma 9.6.2 und (9.1.7). Da P die
Gleichgewichtsverteilung π besitzt, hat Pb die Gleichgewichtsverteilung π b, die gegeben ist durch
b(i, j) = π(i)π(j) für i, j ∈ I. Also ist Pb insbesondere positiv rekurrent (siehe Satz 9.5.5).
π
Ab jetzt sei X0 = i fest. Die Markovkette (Xn , Yn )n∈N0 auf I × I besitzt die Startverteilung
νb(k, l) = δi (k)π(l), wobei δi (k) = δi,k das Kroneckersymbol ist.
Nun argumentieren wir, dass die Treffzeit T mit Wahrscheinlichkeit Eins endlich ist. Für
einen beliebigen Zustand b ∈ I sei T(b,b) der erste Zeitpunkt, an dem die Kette (Xn , Yn )n∈N0 den
Punkt (b, b) trifft. Offensichtlich ist T ≤ T(b,b) . Wegen der Rekurrenz von Pb ist T(b,b) endlich,
also auch T .
Nun beweisen wir, dass die oben definierte Folge (Zn )n∈N0 eine Markovkette mit Über-
gangsmatrix P ist. Dazu reicht es nach Lemma 9.1.5(a) zu zeigen, dass für alle n ∈ N und alle
i0 , . . . , in ∈ I gilt:
n
Y
Pνb(Z[0,n] = i[0,n] ) = δi (i0 ) pir−1 ,ir . (9.6.1)
r=1
Dies zeigen wir durch Aufspaltung nach allen Werten, die T annehmen kann:
n
X
Pνb(Z[0,n] = i[0,n] ) = Pνb(Z[0,n] = i[0,n] , T = r) + Pνb(Z[0,n] = i[0,n] , T > n)
r=0
Xn
= Pνb(X[0,r] = i[0,r] , Y[r+1,n] = i[r+1,n] , Y0 6= i0 , . . . , Yr−1 6= ir−1 , Yr = ir )
r=0
+ Pνb(X[0,n] = i[0,n] , Y0 6= i0 , . . . , Yn 6= in ).
Nun nutzt man die Unabhängigkeit der Ketten (Xn )n∈N0 und (Yn )n∈N0 sowie die Markov-
Eigenschaft der Kette (Yn )n∈N0 zum Zeitpunkt r bzw. n aus, um zu erhalten:
Pνb(X[0,r] = i[0,r] , Y[r+1,n] = i[r+1,n] , Y0 6= i0 , . . . , Yr−1 6= ir−1 , Yr = ir )
= Pi (X[0,r] = i[0,r] )Pπ (Y[r+1,n] = i[r+1,n] | Y0 6= i0 , . . . , Yr−1 6= ir−1 , Yr = ir )
× Pπ (Y0 6= i0 , . . . , Yr−1 6= ir−1 , Yr = ir )
Yn
= δi (i0 ) pij−1 ,ij Pπ (Y0 6= i0 , . . . , Yr−1 6= ir−1 , Yr = ir )
j=1

und
n
Y
Pνb(X[0,n] = i[0,n] , Y0 6= i0 , . . . , Yn 6= in ) = δi (i0 ) pij−1 ,ij Pπ (Y0 6= i0 , . . . , Yn 6= in ).
j=1
162 KAPITEL 9. MARKOVKETTEN

Nun kombiniere man all diese Gleichungen und beachte, dass

n
X
Pπ (Y0 6= i0 , . . . , Yr−1 6= ir−1 , Yr = ir ) + Pπ (Y0 6= i0 , . . . , Yn 6= in ) = 1,
r=0

um bei (9.6.1) anzukommen. Also ist (Zn )n∈N0 eine Markovkette mit Übergangsmatrix P .
Nun ist der Beweis von Satz 9.6.1 leicht zu beenden. Wir schreiben p(n) i,j mit Hilfe von
(Zn )n∈N0 als
(n)
pi,j = Pνb(Zn = j) = Pνb(Zn = j, T ≤ n) + Pνb(Zn = j, T > n)
und analog π(j) als

π(j) = Pπ (Yn = j) = Pνb(Zn = j, T ≤ n) + Pνb(Yn = j, T > n).

Somit folgt
(n)
pi,j − π(j) ≤ 2Pνb(T > n),
und dies konvergiert für n → ∞ gegen Null, da ja Pνb(T < ∞) = 1.

9.7 Reversible Markovketten

Einen wichtigen Spezialfall von Gleichgewichtsverteilungen stellen Verteilungen dar, die die so-
genannte detailed balance condition erfüllen:

Definition 9.7.1 (reversibel). Ein Maß ν auf I heißt reversibel bezüglich der stochastischen
Matrix P , falls für alle i, j ∈ I gilt: ν(i)pi,j = ν(j)pj,i . In diesem Fall nennen wir auch P
reversibel.

Bemerkung 9.7.2. (a) Es ist offensichtlich, dass jedes reversible Maß invariant ist. Im positiv
rekurrenten Fall ist also die Gleichgewichtsverteilung der einzige Kandidat für eine reversi-
ble Verteilung. Allerdings sind bei weitem nicht alle Gleichgewichtsverteilungen reversibel.
Die Reversibilität ist eine sehr spezielle Eigenschaft.

(b) Der Begriff der Reversibilität kommt von der folgenden Eigenschaft her: Wenn π eine
reversible Verteilung ist, so ist die Verteilung der Markovkette unter Pπ invariant unter
Zeitumkehr, d. h. für alle n ∈ N und alle i0 , i1 , . . . , in ∈ I gilt

Pπ (X0 = i0 , . . . , Xn = in ) = Pπ (X0 = in , . . . , Xn = i0 ).

Diese Eigenschaft rechnet man leicht als Übungsaufgabe nach.

Es folgen zwei Beispiele, in denen die reversible Gleichgewichtsverteilung existiert und ex-
plizit angegeben werden kann.

Beispiel 9.7.3. Sei G eine endliche Gruppe und µ eine Verteilung auf G mit µ(g) = µ(g −1 ) für
jedes g ∈ G. Dann ist die Gleichverteilung auf G reversibel für die µ-Irrfahrt auf G (siehe Bei-
spiele 9.2.2 und 9.5.8). Dies sieht man leicht, indem man nachrechnet, dass die Übergangsmatrix
P symmetrisch ist. 3
9.7. REVERSIBLE MARKOVKETTEN 163

Beispiel 9.7.4 (Ehrenfests Urnenmodell). Wir betrachten das Ehrenfest-Modell von Beispiel 9.2.7.
Als Übungsaufgabe rechnet man nach, dass die Binomialverteilung π(k) = Nk 2−N reversibel
ist.
Eine andere Betrachtungsweise macht es möglich, die reversible Verteilung durch Deduktion
zu finden. Wir erweitern das Modell, indem wir den Aufenthaltsort jeder einzelnen Kugel regi-
strieren: ‘0’ für die linke Urne, ‘1’ für die rechte. Dann ist der Vektor der N Aufenthaltsorte der
N Kugeln ein Element des neuen Zustandsraumes {0, 1}N . Wir können diesen Zustandsraum
als eine Gruppe auffassen, wobei die Verknüpfung die Addition modulo 2 ist. Die Markovkette
der N Labels gehorcht der Regel, dass zu den Zeitpunkten 1, 2, . . . ein zufällig gewähltes der N
Indizes geflippt wird. Dies ist eine µ-Irrfahrt im Sinne von Beispiel 9.2.2 mit µ(x) = N1 , falls
x = (x1 , . . . , xN ) genau eine von Null verschiedene Komponente hat. Nach Beispiel 9.7.3 ist die
Gleichverteilung reversibel für diese Irrfahrt. Projiziert man diese Verteilung wieder zurück auf
die Anzahl der Kugeln in der linken Urne, erhält man gerade die Binomialverteilung.
Da die Kehrwerte der Verteilung π(k) gerade die erwarteten Rückkehrzeiten zu k sind, erhält
man die interessante Folgerung, dass das System im Mittel viel später in seinen Anfangszustand
zurückkehrt, wenn es in einem extremen Zustand startet (d. h. alle Kugeln in einer Urne), als
wenn es mit etwa ausgeglichenen Kugelbeständen beginnt. 3

Beispiel 9.7.5 (MCMC). In vielen Anwendungen des Konvergenzsatzes 9.6.1 dreht man den
Spieß folgendermaßen um: Auf einer endlichen Menge I hat man eine gewisse Verteilung π
gegeben und möchte eine Stichprobe mit dieser Verteilung ziehen, d. h. man möchte eine Zufalls-
variable mit der Verteilung π generieren. Diese Aufgabe ist zwar endlich, aber in den meisten
Fällen höchst nichttrivial, weil I oft gigantisch groß ist. Ein beliebter Ansatz ist die sogenannte
Markov Chain Monte Carlo Methode: Man wählt eine Markovkette, deren invariante Verteilung
π ist, und man lässt diese Kette mit einem beliebigen Startwert ‘genügend lange’ laufen, bis man
auf Grund von Satz 9.6.1 meint, dass die Kette ‘nahe genug’ an π heran gekommen ist. Dabei
wählt man meist eine Übergangsmatrix mit vielen Nullen, so dass π sogar reversibel ist, etwa
die Matrix P = (pi,j )i,j∈I mit
n o
π(j)qj,i
(
qi,j min 1, π(i)qi,j , falls i 6= j,
pi,j = P
1 − k∈I\{i} pi,k , falls i = j,

wobei Q = (qi,j )i,j∈I eine stochastische ‘Referenzmatrix’ auf I ist (mit vielen Nullen). Dieser An-
satz wird der Metropolis-Algorithmus genannt. Man beachte, dass nur die Quotienten π(j)/π(i)
bekannt sein müssen, die bei geeigneter Wahl von Q meist nicht extrem klein oder extrem groß
sind und deren Berechnung dann auch nicht aufwendig ist.
Der Vorteil einer solchen MCMC-Methode ist, dass sie einfach zu definieren und zu imple-
mentieren ist. Der Nachteil ist, dass man oft keine guten Kriterien hat, wann man die Iteratio-
nen abbrechen sollte. In jedem Fall werden Abschätzungen für die Konvergenzgeschwindigkeit
benötigt, und es ist oft nicht leicht, effektive Abschätzungen zu erhalten.
Viele Beispiele für zu simulierende Verteilungen kommen aus der statistischen Physik, wo auf
Gitterkonfigurationsräumen der Form I = {0, 1}Λn , wobei Λn = Zd ∩ [−n, n]d eine große Box ist,
gewisse Verteilungen der Form π(i) = Zn,β 1
e−βHn (i) gegeben sind, wobei Zn,β die Normierung ist,
β > 0 ein Stärkenparameter und Hn : I → R eine Hamiltonsche Abbildung. Dies ist ein Maß, das
Konfigurationen i mit kleinem Wert von Hn (i) bevorzugt, und dieser P Effekt ist desto stärker, je
größer β ist. Ein Beispiel ist die Anzahl der 0-1-Übergänge Hn (i) = x,y∈Λn : |x−y|=1 |ix −iy |, das
164 KAPITEL 9. MARKOVKETTEN

ein Stück Eisen modelliert (Ladung in Nachbarpunkten soll möglichst oft gleich gerichtet sein),
oder die Anzahl der Nachbarpaare, in denen ein Molekül sitzt, Hn = #{(x, y) ∈ Λ2n : |x − y| =
1, ix = iy = 1}. 3
Kapitel 10

Stochastische Prozesse

In diesem Abschnitt wenden wir uns Folgen von Zufallsgrößen und ihrer Verteilung zu. In Ab-
schnitt 10.1 diskutieren wir die Frage, ob die ganze Folge als eine einzige Zufallsgröße aufgefasst
werden kann, und wodurch die Verteilung dieser Zufallsgröße festgelegt werden kann. Insbeson-
dere werden wir Folgen von unabhängigen und identisch verteilten Zufallsgrößen konstruieren
und unendlich lange Markovketten. Das Hauptmittel dabei wird der Satz von Ionescu Tulcea
sein; siehe Satz 10.1.14. In Abschnitt 10.2 stellen wir einen weiteren wichtigen Typ stochastischer
Prozesse vor: jene, deren Verteilung sich nicht bei zeitlicher Verschiebung ändert. Das Haupter-
gebnis dieses Abschnittes ist der Birkhoff’sche Ergodensatz, eine kraftvolle Verallgemeinerung
des Starken Gesetzes der Großen Zahlen.

10.1 Konstruktion stochastischer Prozesse

Im gesamten Abschnitt seien (Ω, F, P) ein Wahrscheinlichkeitsraum und (E, E) ein messbarer
Raum.

Definition 10.1.1 (stochastischer Prozess). Jede Folge X = (Xn )n∈N0 von (E, E)-wertigen
Zufallsgrößen Xn : Ω → E heißt ein E-wertiger stochastischer Prozess. Im Fall (E, E) = (R, B)
spricht man einfach von einem stochastischen Prozess.

Wir können also einen stochastischen Prozess X = (Xn )n∈N0 als eine E N0 -wertige Abbildung
auffassen, deren Projektionen Xn = πn ◦X Zufallsgrößen sind. Die sogenannten eindimensionalen
Projektionen πn : E N0 → E (siehe Bemerkung 6.9.2) sind gegeben durch

πn (xk )k∈N0 = xn .

Machen wir uns kurz klar, dass dann X eine (E N0 , E ⊗N0 )-wertige Zufallsgröße ist. Dazu erinnern
wir zunächst daran, dass wir in Abschnitt 6.9 auf dem Folgenraum E N0 die Produkt-σ-Algebra
E ⊗N0 eingeführt haben. Nach Definition 6.9.1 ist E ⊗N0 die kleinste σ-Algebra auf E N0 , so dass
alle eindimensionalen Projektionen πn messbar sind.

Lemma 10.1.2. Es seien X1 , X2 , X3 , . . . : Ω → E Abbildungen. Dann ist X = (Xn )n∈N0 genau

dann ein stochastischer Prozess, wenn X eine (E N0 , E ⊗N0 )-wertige Zufallsgröße ist.

165
166 KAPITEL 10. STOCHASTISCHE PROZESSE

Beweis. Falls X : Ω → E N0 messbar ist, so ist es auch jedes Xn = πn ◦ X, denn πn ist messbar.
Wenn umgekehrt jedes Xn : Ω → E messbar ist, so ist wegen XS −1 (π −1 (A)) = X −1 (A) ∈ F für
n n
jedes A ∈ E und alle n ∈ N0 das Urbild-Mengensystem X ( n∈N0 πn−1 (E)) in F enthalten.
−1

Da das Mengensystem n∈N0 πn−1 (E) per definitionem die σ-Algebra E ⊗N0 erzeugt, folgt die
S
Messbarkeit von X aus Lemma 6.4.3.
Die Verteilung von X ist also einfach seine Verteilung als eine (E N0 , E ⊗N0 )-wertige Zufalls-
größe, also das Wahrscheinlichkeitsmaß P◦X−1 auf (E N0 , E ⊗N0 ). Die uns im Folgenden interessie-
renden Fragen werden nur von dieser Verteilung abhängen, also ist es keine Einschränkung, wenn
wir annehmen, dass der zu Grunde liegende Wahrscheinlichkeitsraum (Ω, F, P) von der Form
(E N0 , E ⊗N0 , P) ist und dass die Komponenten Xn des Prozesses die Koordinatenprojektionen πn
sind: Falls nämlich X ein stochastischer Prozess auf einem abstrakten Wahrscheinlichkeitsraum
(Ω, F, P) ist, so bilden die Projektionen πn : E N0 → E einen auf (E N0 , E ⊗N0 , P ◦ X−1 ) definierten
Prozess, der die selbe Verteilung wie X besitzt.
Die Beschreibung der Verteilung eines stochastischen Prozesses ist nicht ganz einfach und
wird meist über die Verteilungen der endlichdimensionalen Projektionen %n : E N0 → E n+1 ge-
macht, die definiert sind durch

%n (xk )k∈N0 = (x0 , . . . , xn ).

Mit Hilfe von Bemerkung 6.9.3 sieht man leicht, dass E ⊗N0 auch die kleinste σ-Algebra auf E N0
ist, so dass alle endlichdimensionalen Projektionen %n messbar sind.

Definition 10.1.3 (endlichdimensionale Verteilungen). Mit den endlichdimensionalen Vertei-

lungen eines Wahrscheinlichkeitsmaßes Q auf (E N0 , E ⊗N0 ) bezeichnen wir die Bildmaße Q◦%−1
n
auf (E n+1 , E ⊗(n+1) ).

Es ist meist leicht, für jedes n ∈ N0 die Verteilung eines Zufallsvektors (X0(n) , . . . , Xn(n) )
auf E n+1 anzugeben. Dann erhebt sich die natürliche Frage, ob wir diese Zufallsgrößen als den
Beginn genau eines stochastischen Prozesses (X0 , X1 , X2 , . . . ) auffassen können, d. h. ob es einen
Prozess X so gibt, dass die Verteilungen der Vektoren (X0(n) , . . . , Xn(n) ) und (X0 , . . . , Xn ) für jedes
n ∈ N0 überein stimmen. Mit anderen Worten, wir stellen die beiden Fragen:

1. Legen die endlichdimensionalen Verteilungen einer Verteilung auf (E N0 , E ⊗N0 ) diese Ver-
teilung eindeutig fest?

2. Gibt es zu einer vorgegebenen Folge von Verteilungen Qn auf (E n+1 , E ⊗(n+1) ) eine Vertei-
lung Q auf (E N0 , E ⊗N0 ) mit Q ◦ %−1
n = Qn für alle n ∈ N0 ?

Die Anwort auf die erste Frage ist leicht zu geben und lautet immer Ja:

Lemma 10.1.4. Die Folge der endlichdimensionalen Verteilungen Q ◦ %−1

n bestimmt das Maß
Q auf (E , E
N0 ⊗N0 ) eindeutig.

[Link] die Verteilungen Q ◦ %−1 n wird Q auf dem durchschnittstabilen Erzeugenden-

system n∈N0 %−1n (E ⊗(n+1) ) von E ⊗N0 (siehe Bemerkung 6.9.3) eindeutig festgelegt. Nach dem

Eindeutigkeitssatz 6.2.8 ist Q auch auf E ⊗N0 eindeutig festgelegt.

10.1. KONSTRUKTION STOCHASTISCHER PROZESSE 167

Beispiel 10.1.5. Die eindimensionalen Verteilungen legen Q im Allgemeinen nicht eindeutig

fest: Man betrachte eine Folge (Xn )n∈N0 unabhängiger identisch verteilter Zufallsgrößen und die
Folge (Xn0 )n∈N0 , die durch Xn0 = X0 für alle n ∈ N0 definiert wird. 3

Die Antwort auf die zweite Frage ist viel schwieriger und lautet Ja unter einigen ein-
schränkenden Bedingungen. Zunächst sieht man relativ leicht ein, dass eine gewisse Verträglich-
keitsbedingung erfüllt sein muss, damit überhaupt eine Chance besteht, ein Wahrscheinlichkeits-
maß Q zu finden mit Q ◦ %−1 n = Qn für alle n. Bezeichnet nämlich

ϕn : E n+1 → E n , ϕn (x0 , . . . , xn ) = (x0 , . . . , xn−1 ),

die Projektion auf die ersten n Koordinaten, so gilt %n−1 = ϕn ◦ %n , also auch %−1 −1 −1
n−1 = %n ◦ ϕn .
−1
Wenn also Q ◦ %n = Qn für alle n, so gilt

Qn−1 = Q ◦ %−1 −1 −1 −1
n−1 = Q ◦ %n ◦ ϕn = Qn ◦ ϕn . (10.1.1)

Definition 10.1.6 (verträglich, konsistent). Eine Folge von Maßen Qn auf (E n+1 , E ⊗(n+1) )
heißt verträglich oder konsistent, falls für jedes n ∈ N gilt: Qn−1 = Qn ◦ ϕ−1
n .

Eine Folge (X0(n) , . . . , Xn(n) )n∈N0 von Zufallsvektoren heißt konsistent, wenn die Folge der
Verteilungen von (X0(n) , . . . , Xn(n) ) konsistent ist, d. h. wenn gilt:

D
(n)
(X0(n) , . . . , Xn−1 (n−1)
) = (X0(n−1) , . . . , Xn−1 ), n ∈ N,

D
wobei wir an die Schreibweise = erinnern, die Gleichheit in Verteilung bezeichnet. Die Konsistenz
der Folge ist intuitiv gleichbedeutend damit, dass die Kette sich sukzessive zeitlich fortschreitend
entwickelt, ohne in die Zukunft zu sehen. Man spricht auch manchmal – etwas schlampig – von
der Konsistenz der Folge (Xn )n , muss aber immer im Gedächtnis behalten, dass die Konsistenz
der Folge der endlich dimensionalen Verteilungen gemeint ist.

Beispiel 10.1.7. (i) Folgen von unabhängigen Zufallsgrößen und Markovketten im Sinne der
Definition 9.1.3 sind konsistent, siehe auch Bemerkung 9.1.7. Genauer ausgedrückt, gilt Fol-
gendes: Wenn die Verteilung des Zufallsvektors (X0(n) , . . . , Xn(n) ) auf einer diskreten Menge
I n+1 gegeben ist durch

P (X0(n) , . . . , Xn(n) ) = (i0 , . . . , in ) = ν(i0 )pi0 ,i1 · · · · · pin−1 ,in ,

i0 , . . . , in ∈ I,

wobei ν eine Verteilung auf I ist und P = (pi,j )i,j∈I eine stochastische Matrix, so rechnet
man leicht nach, dass (X0(n) , . . . , Xn−1
(n)
) und (X0(n−1) , . . . , Xn−1
(n−1)
) die selbe Verteilung be-
sitzen. Das gilt auch noch für zeitlich inhomogene Markovketten, wo die Übergangsmatrix
vom Zeitpunkt abhängen darf.

(ii) Ein weiteres Beispiel für eine konsistente Folge ist ein Prozess (Xn )n∈N0 , der dem Baugesetz
Xn+1 = fn (X0 , . . . , Xn ) für eine Folge von geeigneten zufälligen Abbildungen fn : E n+1 →
E gehorcht, wobei der eingespeiste Zufall unabhängig ist von (Xn )n .
168 KAPITEL 10. STOCHASTISCHE PROZESSE

(iii) Keine Konsistenz liegt vor, wenn (X0(n) , . . . , Xn(n) ) für jedes n ∈ N0 gleichförmig verteilt ist
auf der Menge aller n-schrittigen Nächstnachbarschaftspfade im Zd (mit d ≥ 2), die im
Ursprung starten und keinen Punkt zweimal besuchen (Übungsaufgabe). Dies ist ein Mo-
dell für eine Polymerkette und wird der self-avoiding walk oder selbstvermeidende Irrfahrt
genannt.
(iv) Pfadmaße Pn von der Form
dPn 1 −βHn (x0 ,...,xn )
(x0 , . . . , xn ) = e ,
dP Zn,β
wobei Hn : (Rd )n+1 → R eine Energiefunktion, β > 0 ein Stärkenparameter und Zn,β die
Normierungskonstante sind und P die Verteilung einer Irrfahrt im Rd , sind im Allgemeinen
nicht konsistent. Dies kann man als eine Übungsaufgabe am Beispiel des self-repellent walk
nachrechnen, wo P die Verteilung
P der einfachen Irrfahrt auf dem Zd ist (siehe Beispiel 9.2.4)
und Hn (x0 , . . . , xn ) = 0≤i<j≤n 1l{xi =xj } die Anzahl der Selbstüberschneidungen des Pfa-
des ist.
(v) Eine Ausnahme von der Faustregel in (iv) liegt vor, wenn die Dichte, mit der Pn aus P
konstruiert wird, die folgende besondere Eigenschaft besitzt. Sei (Xn )n∈N eine Folge von
Zufallsgrößen, und sei (Mn )n∈N0 ein nichtnegatives Martingal, d. h., für jedes n ∈ N sei
Mn ≥ 0 integrierbar und messbar bezüglich σ(X1 , . . . , Xn ) mit E[Mn | X1 , . . . , Xn−1 ] =
Mn−1 , sowie M0 = 1. Dann ist die durch dPn = Mn dP gebildete Folge von Wahrschein-
lichkeitsmaßen Pn konsistent (Übungsaufgabe).

Bei der Frage nach der Existenz eines Maßes Q mit Q ◦ %−1 n = Qn für alle n müssen wir
also mindestens die Verträglichkeit der Folge (Qn )n∈N0 voraussetzen. Allerdings lautet auch in
diesem Fall die Antwort nicht immer ‘Ja’. Die Hauptidee zur Lösung dieses Problems ist die
Beobachtung, dass im Falle Qn+1 = Qn ◦ ϕ−1 n+1 die letzte Komponente von Qn+1 eine bedingte
Wahrscheinlichkeit gegeben Qn ist. Also liegt es nahe, dass die Antwort im Fall, dass E ein
polnischer Raum ist, ‘Ja’ lauten wird, denn dann haben wir ja reguläre Versionen dieser beding-
ten Wahrscheinlichkeiten nach Satz 7.3.25, und die werden im Satz 10.1.14 von Ionescu-Tulcea
die Konstruktion von Q ermöglichen. In diesem Satz wird vorausgesetzt, dass die Maße Qn auf
eine bestimmte Weise mit Hilfe von Markovkernen gegeben sind, die wir ja in Definition 7.3.21
eingeführt haben. Machen wir uns zunächst klar, wie diese Konstruktion funktioniert und dass
diese Voraussetzung zumindest für polnische Räume E keine Einschränkung darstellt.
Lemma 10.1.8. (i) Falls für jedes n ∈ N0 ein Markovkern Kn von (E n+1 , E ⊗(n+1) ) nach
(E, E) existiert, so dass gilt:

Qn+1 d(x0 , . . . , xn+1 ) = Qn d(x0 , . . . , xn ) Kn (x0 , . . . , xn ), dxn+1 , (10.1.2)
so ist die Familie (Qn )n∈N0 konsistent.
(ii) Falls (E, E) ein polnischer Raum mit seiner Borel-σ-Algebra ist und (Qn )n∈N0 eine konsi-
stente Familie von Wahrscheinlichkeitsmaßen Qn auf (E n+1 , E ⊗(n+1) ), so gibt es zu jedem
n ∈ N0 ein Markovkern Kn von (E n+1 , E ⊗(n+1) ) nach (E, E), so dass (10.1.2) gilt.

Wir verzichten auf einen strengen Beweis von Lemma 10.1.8 und begnügen uns mit ein paar
Erläuterungen. Die Verteilung Qn+1 von (X0 , . . . , Xn+1 ) wird also in (10.1.2) rekursiv konstru-
iert, indem man mit Qn den Vektor (X0 , . . . , Xn ) ‘auswürfelt’ und dann mit dem Wahrschein-
lichkeitsmaß Kn ((x0 , . . . , xn ), ·) die Zufallsgröße Xn+1 , und die Verteilung des resultierenden
10.1. KONSTRUKTION STOCHASTISCHER PROZESSE 169

Vektors (X0 , . . . , Xn+1 ) ist Qn+1 . Man sollte Kn ((x0 , . . . , xn ), A) als die bedingte Wahrschein-
lichkeit interpretieren, dass Xn+1 in A liegt, gegeben {X0 = x0 , . . . , Xn = xn }. Mit anderen
Worten, der Kern Kn ist eine Version der bedingten Verteilung von Xn+1 gegeben (X0 , . . . , Xn );
siehe Abschnitt 7.3. Die Konsistenz der Qn ist leicht aus (10.1.2) herzuleiten, sie folgt auch aus
(10.1.3) weiter unten. In dem Spezialfall, dass Kn ((x0 , . . . , xn ), dxn+1 ) = K(xn , dxn+1 ) gar nicht
von x0 , . . . , xn−1 oder n abhängt, haben wir also eine homogene Markovkette vor uns, und wenn
K(xn , dxn+1 ) = µ(dxn+1 ) nicht einmal von xn abhängt, so sind die Xn unabhängig.
Unter der Verträglichkeitsbedingung Qn = Qn+1 ◦ ϕ−1 n+1 ist die Verteilung von Xn+1
(n+1)

(n+1) (n+1)
tatsächlich die bedingte Verteilung (unter Qn+1 ) gegeben (X0 , . . . , Xn ), was ja die selbe
Verteilung wie (X0(n) , . . . , Xn(n) ) besitzt. Aus dem Satz 7.3.25 über die Existenz einer regulären
Version einer bedingten Verteilung (man beachte, dass auch (E n+1 , E ⊗(n+1) ) polnisch ist) folgt
dann, dass eine reguläre Version Kn wie oben existiert, dass also Qn+1 wie in (10.1.2) mit Hilfe
von Qn und Kn gegeben ist. Es wird also ausreichend vorauszusetzen, dass die Qn auf diese
Weise gegeben sind, und dies werden wir in unserer Version des Satzes von Ionescu Tulcea tun.
Im Folgenden stellen wir die nötigen theoretischen Hilfsmittel bereit. Zunächst verallgemei-
nern wir den Begriff des Produktmaßes:

Definition 10.1.9. Es seien (E1 , E1 ) und (E2 , E2 ) zwei messbare Räume und K ein Kern von
E1 nach E2 . Ferner sei µ ein Wahrscheinlichkeitsmaß auf (E1 , E1 ). Dann ist das Wahrschein-
lichkeitsmaß µ ⊗ K auf (E1 × E2 , E1 ⊗ E2 ) definiert durch
Z
(µ ⊗ K)(A) = K(ω1 , A(1)
ω1 ) µ(dω1 ), A ∈ E1 ⊗ E2 ,
E1

wobei A(1)
ω1 = {ω2 ∈ E2 : (ω1 , ω2 ) ∈ A} der ω1 -Schnitt von A ist.

Bemerkung 10.1.10. Wie im Beweis des Satzes 6.10.2 muss man sich Einiges überlegen, um
einzusehen, dass Definition 10.1.9 sinnvoll ist:
• Nach Satz 6.10.1 ist A(1) (1)
ω1 ∈ E2 , also K(ω1 , Aω1 ) wohldefiniert.

• Dass ω1 7→ K(ω1 , A(1)

ω1 ) messbar ist, sieht man ein, indem man nachprüft, dass

D = {A ∈ E1 ⊗ E2 : ω1 7→ K(ω1 , A(1)
ω1 ) ist messbar}

ein Dynkin-System ist (einfache Übungsaufgabe) und die Mengen der Form A1 × A2 mit
Ai ∈ Ei für i ∈ {1, 2} enthält (dies folgt aus K(ω1 , (A1 × A2 )(1)
ω1 ) = 1lA1 (ω1 )K(ω1 , A2 )).
Dann folgt aus Satz 6.2.3, dass D = E1 ⊗ E2 , d. h. µ ⊗ K(A) ist wohldefiniert für jedes
A ∈ E1 ⊗ E2 .

• Mit Hilfe des Satzes 6.8.6 von Lebesgue zeigt man, dass µ ⊗ K auch σ-additiv, also ein
Wahrscheinlichkeitsmaß ist.

Also können wir die Gleichung (10.1.2) auch kurz mit Qn+1 = Qn ⊗ Kn ausdrücken.

Beispiel 10.1.11. (a) Für den Kern K aus Beispiel 7.3.22(a) (also K(x, A) = ν(A) für ein
Maß ν) ist µ ⊗ K gleich dem Produktmaß µ ⊗ ν.
170 KAPITEL 10. STOCHASTISCHE PROZESSE

P
(c) Für den Kern K aus Beispiel 7.3.22(c) (also K(i, A) = j∈A pi,j mit einer stochastischen
Matrix P = (pi,j )i,j∈i ) ist µ ⊗ K gleich der Verteilung des Paars (X0 , X1 ), wenn (Xn )n∈N0
die Markovkette mit Übergangsmatrix P und Startverteilung µ auf I ist.
3

Bemerkung 10.1.12 (Randverteilungen). Wir betrachten kurz die Randverteilungen des Ma-
ßes µ ⊗ K auf E1 bzw. E2 . Zunächst zur Begriffsbildung: Wenn πi : E1 × E2 → Ei die i-te
Projektion bezeichnet, so ist m ◦ πi−1 die i-te Randverteilung eines Maßes m auf E1 × E2 . Für
i = 1 ist
(µ ⊗ K) ◦ π1−1 = µ, (10.1.3)
wie man sich leicht klar macht, und die zweite Randverteilung wird mit µK bezeichnet, also
Z
µK(A) = (µ ⊗ K)(E1 × A) = µ(dx) K(x, A), A ∈ E2 . (10.1.4)

Wir benötigen noch Verallgemeinerungen der Sätze 6.10.4 von Tonelli und 6.10.5 von Fubini:

Satz 10.1.13. Es seien (E1 , E1 ) und (E2 , E2 ) zwei messbare Räume, µ ein Wahrscheinlichkeits-
maß auf (E1 , E1 ), K ein Markovkern von E1 nach E2 und f : E1 × E2 → R eine messbare
Abbildung.
(a) Falls f nichtnegativ ist, so gilt
Z Z Z

fd µ⊗K = f (x, y) K(x, dy) µ(dx). (10.1.5)

(b) Falls f ∈ L1 (µ⊗K),R so ist für µ-fast alle x ∈ E1 die Abbildung f (x, ·) integrierbar bezüglich
K(x, ·). Ferner ist f (·, y) K(·, dy) bezüglich µ integrierbar, und es gilt (10.1.5).

Beweis. Der Beweis folgt dem üblichen Schema mit Hilfe von Satz 6.4.11.
Wir formulieren nun endlich das Hauptergebnis dieses Abschnittes.

Satz 10.1.14 (Satz von Ionescu Tulcea). Es sei (E, E) ein messbarer Raum und µ ein Wahr-
scheinlichkeitsmaß auf (E, E). Für jedes n ∈ N0 sei Kn ein Markovkern von (E n+1 , E ⊗(n+1) )
nach (E, E). Wir betrachten die induktiv durch

Q0 = µ und Qn = Qn−1 ⊗ Kn−1 , n ∈ N,

definierten Wahrscheinlichkeitsmaße Qn auf (E n+1 , E ⊗(n+1) ). Dann existiert genau ein Wahr-
scheinlichkeitsmaß Q auf (E N0 , E ⊗N0 ) mit Q ◦ %−1
n = Qn für jedes n ∈ N0 .

Man beachte, dass (Qn )n∈N0 verträglich ist nach (10.1.3), angewendet auf E1 = E n und
µ = Qn−1 , denn dann ist π1 = ϕn .
Im Beweis des Satzes 10.1.14 benötigen wir Verallgemeinerungen der Kerne Kn , und zwar
Kerne Kn,m von E n+1 nach E m für beliebiges m ∈ N, die die m-stufigen Übergänge des Prozesses
beschreiben. (Die Interpretation dieser Kerne ist, dass Kn,m ((x0 , . . . , xn ), A) gleich der bedingten
10.1. KONSTRUKTION STOCHASTISCHER PROZESSE 171

Wahrscheinlichkeit von {(Xn+1 , . . . , Xn+m ) ∈ A} gegeben {(X0 , . . . , Xn ) = (x0 , . . . , xn )} ist,

wenn (Xk )k∈N0 der Prozess unter Q ist.) Wir definieren induktiv Kn,1 = Kn und
Z Z
Kn,m+1 (x, A) = Kn,m (x, dy) Kn+m ((x, y), dz)1lA (y, z), x ∈ E n+1 , A ∈ E ⊗(m+1) .
Em E

Dann haben wir nämlich:

Lemma 10.1.15. Für alle n ∈ N0 und m ∈ N gilt Qn+m = Qn ⊗ Kn,m .

Beweis. Wir führen eine Induktion nach m. Der Fall m = 1 ist klar nach Definition. Es sei m ≥ 2.
Für A ∈ E ⊗(n+1) , B ∈ E ⊗(m−1) und C ∈ E benutzen wir nach einander die Definition von Qn+m ,
die Induktionsvoraussetzung, die Definition von Kn,m−1 und die Definition von Qn ⊗ Kn,m , um
zu erhalten:
Z
Qn+m (A × B × C) = Qn+m−1 (d(x, y)) Kn+m−1 ((x, y), C)
A×B
Z Z
= Qn (dx) Kn,m−1 (x, dy) Kn+m−1 ((x, y), C)
ZA B

= Qn (dx) Kn,m (x, B × C)

A

= Qn ⊗ Kn,m (A × B × C).

Da die Mengen der Form A × B × C mit A ∈ E ⊗(n+1) , B ∈ E ⊗(m−1) und C ∈ E ein durchschnitt-
stabiles Erzeugendensystem von E ⊗(n+m+1) bilden, folgt die Aussage aus dem Eindeutigkeits-
satz 6.2.8.

Beweis des Satzes 10.1.14. Wir werden den Satz 6.2.7 von Carathéodory anwenden, müssen
aber zuvor die Maße Qn (die ja jeweils auf verschiedenen Räumen definiert sind) auf den Raum
Ω = E N0 ‘liften’. Wir betten also die Definitionsbereiche (E n+1 , E ⊗(n+1) ) von Qn in Ω ein, indem
wir E n+1 durch E n+1 × E N0 ersetzen und E ⊗(n+1) durch die Urbild-σ-Algebra

Fn = %−1
n (E
⊗(n+1)
)

auf Ω. Man beachte, dass (Fn )n∈N0 eine aufsteigende Folge von σ-Algebren ist, deren Vereinigung
[
A= Fn
n∈N0

eine Algebra ist, die die Produkt-σ-Algebra E ⊗N0 erzeugt. Es ist klar, dass %−1
n : E
⊗(n+1) → F
n
bijektiv ist, und daher das Wahrscheinlichkeitsmaß

Qn = Qn ◦ %n ,

auf (Ω, Fn ) eineindeutig dem Wahrscheinlichkeitsmaß Qn auf (E n+1 , E ⊗(n+1) ) zugeordnet ist.
Die Verträglichkeit der Folge (Qn )n∈N0 ist gleichbedeutend damit, dass für alle n ≤ m die
Maße Qm und Qn auf Fm übereinstimmen. Daher bestimmen die Qn eindeutig eine Abbildung
Q : A → [0, 1]. Es ist klar, dass Q ein Inhalt auf der Algebra A mit Q(Ω) = 1 ist.
Nach dem Satz 6.2.7 von Carathéodory ist also nur noch zu zeigen, dass Q σ-additiv ist,
denn dann lässt sich Q eindeutig zu einem Maß Q auf σ(A) = E ⊗N0 erweitern, und dann gilt
Q ◦ %−1
n = Qn für jedes n ∈ N0 , und das beendet den Beweis.
172 KAPITEL 10. STOCHASTISCHE PROZESSE

Nach Lemma 6.2.6 reicht es zu zeigen, dass Q stetig in ∅ ist. Es sei also (Bn )n∈N0 eine
Folge von Elementen aus A mit limn→∞ Q(Bn ) > 0, dann müssen wir zeigen, dass der
fallende T
Schnitt n∈N0 Bn nicht leer ist. Als Übungsaufgabe überlege man sich, dass man voraussetzen
kann, dass Bn ∈ Fn für jedes n ∈ N0 gilt, und dies wollen wir nun voraussetzen.
Für n ∈ N0 sei An ∈ E ⊗(n+1) die eindeutig bestimmte Menge mit Bn = %−1 n (An ). Dann gilt
Bn = %−1
n+1 (A n × E) und daher A n+1 ⊂ A n × E. Wir konstruieren nun eine Folge x = (xn )n∈N0
mit (x0 , . . . , xn ) ∈ An für jedes n ∈ N0 . Wenn wir dies
T getan haben, sind wir fertig, denn es gilt
dann x ∈ Bn für jedes n ∈ N0 , also ist der Schnitt n∈N0 Bn nicht leer.
Für m ∈ N definieren wir Funktionen fn,m : E n+1 → [0, 1] durch fn,m (y) = Kn,m (y, Am−1 ),
wobei wir fn,1 als 1lAn interpretieren. Man beachte, dass (fn,m )m∈N für jedes n ∈ N eine fallende
Folge ist, denn für jedes y ∈ E n+1 gilt wegen Am ⊂ Am−1 × E:
fn,m+1 (y) = Kn,m+1 (y, Am ) ≤ Kn,m+1 (y, Am−1 × E)
Z Z
= Kn,m (y, dx) Kn+m ((y, x), dz)1lAm−1 ×E (x, z)
m
ZE E

= Kn,m (y, dx) 1lAm−1 (x)Kn+m ((y, x), E)

Em
= Kn,m (y, Am−1 ) = fn,m (y).
Wir konstruieren nun rekursiv eine Folge x = (xn )n∈N0 mit
lim fn,m ((x0 , . . . , xn )) > 0 (10.1.6)
m→∞

für jedes n ∈ N0 . Wegen der Monotonie in m gilt dann 1lAn ((x0 , . . . , xn )) = fn,0 ((x0 , . . . , xn )) > 0,
also (x0 , . . . , xn ) ∈ An , was den Beweis beendet.
Wir beginnen mit n = 0. Es gilt
Z Z
f0,m (y) µ(dy) = K0,m (y, Am ) Q0 (dy) = Qm (Am ) = Qm (Bm ) = Q(Bm ).

Wegen limm→∞ Q(Bm ) > 0 ist also (f0,m )m∈N0 eine monoton fallende Folge, deren punktweiser
Grenzwert nicht identisch Null ist. Also existiert ein x0 ∈ E, so dass (10.1.6) gilt für n = 0.
Seien nun x0 , . . . , xn konstruiert, so dass (10.1.6) gilt. Dann gilt für m ∈ N:
Z
fn+1,m ((x0 , . . . , xn , y)) Kn ((x0 , . . . , xn ), dy)
E Z
= Kn+1,m ((x0 , . . . , xn , y), Am ) Kn ((x0 , . . . , xn ), dy)
E
= Kn,m ((x0 , . . . , xn ), Am )
= fn,m ((x0 , . . . , xn )).
Somit ist die Folge der Abbildungen E 3 y 7→ fn+1,m ((x0 , . . . , xn , y)) eine in m fallende Folge,
deren Grenzwert nicht identisch Null ist. Wegen (10.1.6) für n gibt es also ein xn+1 ∈ E, so dass
(10.1.6) auch für n + 1 gilt.

Beispiel 10.1.16. (a) Der Satz 10.1.14 von Ionescu Tulcea garantiert die Existenz von Folgen
(Xn )n∈N0 unabhängiger Zufallsgrößen mit beliebig vorgegebenen Verteilungen der einzel-
nen Xn . Wenn nämlich µn für jedes n ∈ N0 ein Wahrscheinlichkeitsmaß auf einem messba-
ren Raum (E, E) ist, so ist das Maß Qn = µ0 ⊗ · · · ⊗ µn von der Form Qn = Qn−1 ⊗ Kn−1
10.2. STATIONÄRE PROZESSE UND DER ERGODENSATZ 173

mit Kn (x, A) = µn+1 (A) (siehe Beispiel 7.3.22(a)). Also gibt es ein Maß Q auf (E N0 , E ⊗N0 ),
so dass die n-te Projektion Xn : E N0 → E die Verteilung µn hat.

(b) Auch die Existenz von Markovketten im Sinne von Kapitel 9 wird durch den Satz von
Ionescu Tulcea abgedeckt. (Dadurch wird endlich die in Bemerkung 9.1.7 aufgeworfe-
ne Frage positiv beantwortet.) Es sei P eine stochastische Matrix auf einer abzählba-
ren Menge I, und es sei µ ein Wahrscheinlichkeitsmaß auf (I, P(I)). Wir betrachten
die durch Kn ((i0 , . . . , in ), in+1 ) = pin ,in+1 definierten Kerne Kn . Durch Q0 = µ und
Qn = Qn−1 ⊗ Kn−1 wird eine Folge (Qn )n∈N0 von Wahrscheinlichkeitsmaßen festgelegt.
Man sieht leicht, dass Qn die Verteilung einer endlichen Markovkette (X0 , . . . , Xn ) mit
Startverteilung µ und Übergangsmatrix P ist. Nach dem Satz von Ionescu Tulcea existiert
genau ein Wahrscheinlichkeitsmaß Q auf (I N0 , P(I)⊗N0 ), dessen endlichdimensionale Ver-
teilungen die Qn sind. Q ist die Verteilung einer unendlich langen Markovkette (Xn )n∈N0
mit Startverteilung µ und Übergangsmatrix P . Natürlich gilt dies auch für zeitlich inho-
mogene Ketten und für andere Verallgemeinerungen.

(c) Es seien I und J abzählbare Mengen, und es sei (Yn )n∈N0 eine Folge von unabhängigen iden-
tisch verteilten J-wertigen Zufallsgrößen. Es seien I-wertige Zufallsgrößen X0 , X1 , X2 , . . .
gegeben, die dem Baugesetz Xn+1 = fn (X0 , . . . , Xn , Yn ) für eine Funktion fn : I n+1 ×J → I
gehorchen. In anderen Worten: Xn+1 ist eine zufällige Funktion des gesamten ‘Vorgeschich-
te’ X0 , . . . , Xn . Wieder zeigt der Satz von Ionescu Tulcea, dass genau ein Wahrschein-
lichkeitsmaß Q auf (I N0 , P(I)⊗N0 ) existiert, dessen endlichdimensionale Verteilungen die
Verteilungen der (X0 , . . . , Xn ) sind. Prozesse mit dieser Abhängigkeitsstruktur sind es, die
man bei diesem Satz im Auge hatte.
3

10.2 Stationäre Prozesse und der Ergodensatz

In diesem Abschnitt behandeln wir stochastische Prozesse, deren Verteilung durch zeitliche Ver-
schiebung nicht geändert wird, so genannte stationäre Prozesse. Wir beleuchten den Zusammen-
hang mit Maß erhaltenden Transformationen, und als Hauptergebnis beweisen wir den Birk-
hoff’schen Ergodensatz, der das Starke Gesetz der Großen Zahlen als einen Spezialfall enthält.
Es sei (Ω, F, P) ein Wahrscheinlichkeitsraum.

Definition 10.2.1 (stationärer Prozess). Ein stochastischer Prozess X = (Xn )n∈N0 heißt sta-
tionär, falls X die selbe Verteilung wie der zeitlich verschobene Prozess (Xn+1 )n∈N0 hat.

Wenn θ : RN0 → RN0 der Shift-Operator ist, also θ((xn )n∈N0 ) = (xn+1 )n∈N0 für alle Folgen
(xn )n∈N0 ∈ RN0 , dann ist X stationär, falls X und θ ◦ X die gleiche Verteilung besitzen. Dies kann
man auch schreiben als P ◦ X−1 = P ◦ (θ ◦ X)−1 = (P ◦ X−1 ) ◦ θ−1 , also ist die Verteilung P ◦ X−1
gleich seinem Bildmaß unter θ. Dies nehmen wir zum Anlass zu einer Definition, die zunächst
allgemeiner scheint:
174 KAPITEL 10. STOCHASTISCHE PROZESSE

Definition 10.2.2 (Maß erhaltende Transformation). Eine messbare Abbildung T : Ω → Ω

heißt eine Maß erhaltende Transformation, wenn P ◦ T −1 = P gilt. Wir sagen dann auch, dass
P invariant unter T ist oder kurz T -invariant.

Nach der obigen Bemerkung ist ein stochastischer Prozess X also genau dann stationär, wenn
der Shift θ eine Maß erhaltende Transformation auf dem Wahrscheinlichkeitsraum (RN0 , B ⊗N0 , P◦
X−1 ) ist. In diesem Falle ist P ◦ X−1 natürlich auch die Verteilung der Folge der Projektionen
πn : RN0 → R, denn (πn )n∈N0 ist die identische Abbildung auf RN0 . Offensichtlich ist dann
πn+1 = πn ◦ θ für jedes n ∈ N0 .
Umgekehrt kann man aus einer beliebigen, auf einem abstrakten Wahrscheinlichkeitsraum
(Ω, F, P) definierten Maß erhaltenden Transformation einen stationären Prozess erhalten:
Lemma 10.2.3. Es sei Y eine Zufallsgröße und T eine Maß erhaltende Transformation auf
(Ω, F, P). Definiere X0 = Y und Xn+1 = Xn ◦T für n ∈ N0 . Dann ist der Prozess X = (Xn )n∈N0
stationär.

Beweis. Für alle n ∈ N0 und t0 , . . . , tn ∈ R gilt

P(X0 ≤ t0 , . . . , Xn ≤ tn ) = (P ◦ T −1 )(X0 ≤ t0 , . . . , Xn ≤ tn )
= P(X0 ◦ T ≤ t0 , . . . , Xn ◦ T ≤ tn )
= P(X1 ≤ t0 , . . . , Xn+1 ≤ tn ).
Dies zeigt, dass die endlich dimensionalen Verteilungen von X und θ ◦ X übereinstimmen, nach
Lemma 10.1.4 also auch die von X und θ ◦ X.
Also entsprechen sich die beiden Konzepte ‘stationäre Prozesse’ und ‘Maß erhaltende Trans-
formationen’ eineindeutig: Zu jedem stationären Prozess X existiert eine P ◦ X−1 -invariante
Transformation T (nämlich der Shift θ auf dem Folgenraum (RN0 , B ⊗N0 , P ◦ X−1 )), und dann
gilt πn+1 = πn ◦ θ für die Projektionen, und zu jeder P-invarianten Transformation T und jeder
Zufallsgröße Y existiert ein stationärer Prozess X mit Xn+1 = Xn ◦ T für n ∈ N0 . Die Tupel

RN0 , B ⊗N0 , P ◦ X−1 , θ, (πn )n∈N0

Ω, F, P, T, (Xn )n∈N0 und

entsprechen einander eineindeutig. Daher ist es nur eine Sache des Geschmacks, ob man mit
einem abstrakten Raum (Ω, F, P, T ) arbeitet oder mit dem Folgenraum (RN0 , B ⊗N0 , P ◦ X−1 , θ).
Wir werden den abstrakten Rahmen bevorzugen, aber die wichtigsten Ergebnisse auch im Zu-
sammenhang mit stationären Prozessen formulieren.
Bemerkung 10.2.4. Eine messbare Abbildung T : Ω → Ω ist genau dann eine Maß erhaltende
Transformation, wenn P ◦ T −1 (A) = P(A) für alle A aus einem durchschnittstabilen Erzeugen-
densystem von F gilt. Dies folgt direkt aus dem Eindeutigkeitssatz 6.2.8. 3
Beispiel 10.2.5. (a) Eine Folge von unabhängigen identisch verteilten Zufallsgrößen ist ein
stationärer Prozess. Anders ausgedrückt: Für jedes Wahrscheinlichkeitsmaß µ auf (R, B)
ist das unendliche Produktmaß µ⊗N0 shift-invariant.
(b) Wir fassen die Menge D = {z ∈ C : |z| = 1} als einen Kreis im R2 auf und betrachten die
gleichförmige Verteilung (das normierte Lebesgue-Maß) λD auf D mit der Spur-Borel-σ-
Algebra BD auf D. Für c ∈ D sei der Drehoperator Tc : D → D definiert durch Tc (ω) = cω.
10.2. STATIONÄRE PROZESSE UND DER ERGODENSATZ 175

Ist A ⊂ D ein Intervall, so gilt offensichtlich λD ◦ Tc−1 (A) = λD (A). Aus Bemerkung 10.2.4
folgt, dass Tc Maß erhaltend ist.

(c) Auf ([0, 1), B[0,1) , λ) betrachten wir die Transformation T , die definiert wird durch
(
2ω, falls ω ∈ [0, 1/2),
T (ω) =
2ω − 1, falls ω ∈ [1/2, 1).

Für 0 ≤ a < b < 1 ist T −1 ([a, b)) = [ a2 , 2b ) ∪ [ a+1 b+1

2 , 2 ), also folgt λ ◦ T
−1 ([a, b)) = b − a =

λ([a, b)). Aus Bemerkung 10.2.4 folgt, dass T Maß erhaltend ist.

(d) Jede Markovkette, die in ihrer invarianten Verteilung gestartet wird (vorausgesetzt, ei-
ne solche existiert), ist ein stationärer Prozess, siehe auch Bemerkung 9.5.2(d), wo die
eindimensionalen Verteilungen betrachtet werden. Falls π eine Gleichgewichtsverteilung
einer stochastischen Matrix P auf einer abzählbaren Menge I ist, so gilt nämlich für die
zugehörige Markovkette X = (Xn )n∈N0 , dass für jedes n ∈ N und alle i0 , . . . , in ∈ I:

Pπ (X[0,n] = i[0,n] ) = Pπ (X[1,n+1] = i[0,n] ),

wie man leicht mit Hilfe der Invarianz von π unter P nachweist. Also ist der Shift-Operator
θ auch auf (I N0 , P(I)⊗N0 , P ◦ X−1 ) eine Maß erhaltende Transformation.
3

Definition 10.2.6 (invariante Menge, ergodische Abbildung). (a) Es sei T : Ω → Ω eine Ab-
bildung. Eine Teilmenge A von Ω heißt invariant unter T oder T -invariant, falls T −1 (A) =
A gilt.

(b) Eine Maß erhaltende Abbildung T auf (Ω, F, P) heißt ergodisch, falls für jede T -invariante
messbare Menge A gilt: P(A) ∈ {0, 1}. Wir nennen dann T auch P-ergodisch und P auch
T -ergodisch.

Bemerkung 10.2.7. Sei T : Ω → Ω messbar. Die Menge der T -invarianten messbaren Mengen,

JT = {A ∈ F : T −1 (A) = A}, (10.2.1)

ist eine Teil-σ-Algebra von F. Falls T ergodisch ist, so sagt man auch, dass JT P-trivial ist.
Nach Lemma 7.2.10 ist in diesem Fall jede JT -messbare Abbildung fast sicher konstant. 3

Wenn der Shift-Operator θ auf dem Folgenraum RN0 ergodisch ist, nennt man den zugehöri-
gen Prozess ebenfalls ergodisch. Ein wichtiges Beispiel sind Folgen von unabhängigen identisch
verteilten Zufallsgrößen:

Lemma 10.2.8. Es sei X = (Xn )n∈N0 eine Folge von unabhängigen identisch verteilten Zufalls-
größen auf (Ω, F, P). Dann ist der Shift-Operator θ auf (RN0 , B ⊗N0 , P ◦ X−1 ) ergodisch.

Beweis. Sei A ∈ B⊗N0 shift-invariant. Dann gilt für jedes n ∈ N auch A = (θn )−1 (A) =
{(xk )k∈N0 : (xn+k )k∈N0 ∈ A}. Also gilt
∞
_
X−1 (A) = {ω ∈ Ω : (Xn+k (ω))k∈N0 ∈ A} ∈ Fbn = Xk−1 (B).
k=n
176 KAPITEL 10. STOCHASTISCHE PROZESSE

Da dies für jedes n ∈ N gilt, liegt X−1 (A) in der terminalen σ-Algebra T∞ (siehe Definition 7.2.7),
die ja nach dem Kolmogorov’schen 0-1-Gesetz (siehe Satz 7.2.8; hier geht die Unabhängigkeit
ein) P-trivial ist. Also folgt P ◦ X−1 (A) = P(X−1 (A)) ∈ {0, 1}.
Dieser Beweis zeigt insbesondere, dass Jθ ⊂ T∞ , d. h. jedes shift-invariante Ereignis ist ein
Ereignis der infinitesimalen Zukunft. Allerdings ist im Allgemeinen Jθ 6= T∞ , und es gibt auch
ergodische Maße, bezüglich denen T∞ nicht trivial ist.1
Wir streifen kurz den Zusammenhang mit zwei wichtigen Mischungsbegriffen:

Definition 10.2.9 (mischend). Eine Maß erhaltende Transformation T auf (Ω, F, P) heißt
mischend, wenn für alle A, B ∈ F gilt:

lim P(A ∩ T −n (B)) = P(A)P(B), (10.2.2)

n→∞

und sie heißt schwach mischend, wenn für alle A, B ∈ F gilt:

n−1
1X
lim P(A ∩ T −k (B)) = P(A)P(B). (10.2.3)
n→∞ n
k=0

Im Fall des Shift-Operators T = θ auf dem Folgenraum kann man A ∩ T −n (B) für großes
n interpretieren als den Schnitt zweier zeitlich weit von einander entfernt liegenden Ereignisse,
die also asymptotisch unabhängig werden, wenn T mischend ist. Die Begriffsbildung ‘mischend’
wird klar aus dem folgenden Beispiel.
Beispiel 10.2.10. Zum Zeitpunkt Null befindet sich in einem Gefäß, das den Raum Ω ⊂ R3
einnehme, Tinte im Teil A ⊂ Ω des Gefäßes und Wasser im verbleibenden Teil Ω \ A. Auf
Ω betrachten wir das normierte Lebesgue-Maß P. Die Abbildung T : Ω → Ω beschreibe einen
Schritt eines Mischungsvorgangs, etwa ein einmaliges Umrühren. Diese Abbildung erhalte das
Maß P, also soll der Mischungsvorgang die Flüssigkeit insbesondere nirgends komprimieren oder
auseinanderziehen. Für eine beliebige Menge B ⊂ Ω ist dann

A ∩ T −n (B) = {x ∈ A : T n (x) ∈ B}

die Menge aller Tintenpartikel, die nach n-maligem Umrühren in der Menge B sind. Daher ist
P(A ∩ T −n (B))
P(B)
der relative Anteil der Tintenpartikel in B nach n-maligem Umrühren. Wenn T mischend ist,
dann konvergiert dies gegen P(A), den Anteil der Tintenpartikel im Gefäß. 3

Als Übungsaufgabe zeigt man leicht, dass unabhängige identisch verteilte Prozesse (wenn
auf dem Folgenraum also ein Produktmaß betrachtet wird) mischend sind. Dieses Resultat ist
aber auch ein Spezialfall von Satz 10.2.15 weiter unten. Eine andere Übungsaufgabe zeigt, dass
Ergodizität äquivalent zur schwachen Mischungseigenschaft ist. Der Zusammenhang zur Mi-
schungseigenschaft wird wie folgt geklärt:
1 1
Ein Beispiel für diesen beiden Aussagen liefert P = (δ
2 ω (0)
+ δω(1) ) mit ω (0) = (0, 1, 0, 1, . . . , ) und ω (1) =
(1, 0, 1, 0, . . . ) ∈ {0, 1}N0 (Übungsaufgabe).
10.2. STATIONÄRE PROZESSE UND DER ERGODENSATZ 177

Lemma 10.2.11. Jede mischende Maß erhaltende Transformation T ist ergodisch.

Beweis. Sei A ∈ F eine T -invariante Menge, dann gilt

P(A) = P(A ∩ A) = P(A ∩ T −n (A)) → P(A)P(A) für n → ∞.

Daraus folgt sofort P(A) = P(A)2 , also P(A) ∈ {0, 1}.

Als Übungsaufgabe zeigt man, dass der Drehoperator Tc aus Beispiel 10.2.5(b) für kein
c ∈ D mischend ist. Auf Grund des folgenden Ergebnisses ist also Ergodizität nicht äquivalent
zur Mischungseigenschaft:
Satz 10.2.12. Der Drehoperator Tc aus Beispiel 10.2.5(b) ist genau dann ergodisch, wenn c
keine Einheitswurzel ist.

Als Vorbereitung benötigen wir das folgende maßtheoretische Resultat (Beweis als Übungs-
aufgabe oder siehe [Ba91, Satz 5.7]):
Lemma 10.2.13. Es sei A eine Algebra mit F = σ(A). Dann existiert zu jedem ε > 0 und zu
jedem A ∈ F ein B ∈ A mit P(A4B) < ε.

Beweis von Satz 10.2.12. Falls c eine Einheitswurzel ist, also cn = 1 für ein n ∈ N, so ist Tcn
die identische Abbildung. Somit ist für jedes A ∈ BD die Menge A ∪ Tc−1 (A) ∪ · · · ∪ Tc−n+1 (A)
invariant unter Tc . Wir wählen ein A ∈ BD mit 0 < λD (A) < n1 und erhalten

n−1
X
0 < λD A ∪ Tc−1 (A) ∪ · · · ∪ Tc−n+1 (A) ≤ λD (Tc−k (A)) = nλD (A) < 1,
k=0

also ist Tc nicht ergodisch.

Sei nun c keine Einheitswurzel. Zunächst machen wir uns klar, dass die Menge {cn : n ∈ N0 }
dicht in D liegt: Diese Folge hat zunächst (mindestens) einen Häufungspunkt ω0 in D. Sei ε > 0,
und seien m > n mit |cn − ω0 | < ε und |cm − ω0 | < ε. Dann ist 0 < |cm−n − 1| < 2ε. Daraus
folgt, dass zu jedem ω ∈ D ein k ∈ N existiert mit |ω − ck(m−n) | < 2ε. Da ε > 0 beliebig ist, folgt
die Dichtheit der Menge {cn : n ∈ N0 }.
Wir betrachten das Mengensystem A, das aus allen endlichen Vereinigungen paarweise dis-
junkter Intervalle in D besteht. Dann ist A eine Algebra. Sei A ∈ BD invariant unter Tc mit
λD (A)
S> 0, und sei 0 < ε < 12 . Nach Lemma 10.2.13 existiert ein B ∈ A, also ein B von der Form
n
B = i=1 Ii mit n ∈ N und disjunkten Intervallen I1 , . . . , In ⊂ D, so dass λD (A4B) < ελD (A).
Wir können annehmen, dass λD (Ii ) < ε für jedes i ∈ {1, . . . , n}.
Wir haben

λD (A4B) ≤ ελD (A) ≤ 2ε(1 − ε)λD (A) ≤ 2ε λD (A) − λD (A4B) ≤ 2ελD (B),

und daraus folgt

n
X n
X
λD (A ∩ Ii ) = λD (A ∩ B) ≥ λD (B) − λ(A4B) ≥ (1 − 2ε)λD (B) = (1 − 2ε) λD (Ii ).
i=1 i=1

Mindestens eines der I1 , . . . , In – kurz mit I bezeichnet – erfüllt also die Ungleichung λD (A ∩
I) ≥ (1 − 2ε)λD (I). Wir schreiben im Folgenden T statt Tc . Auf Grund der Dichtheit der
178 KAPITEL 10. STOCHASTISCHE PROZESSE

Menge {cn : n ∈ N0 } existieren k ∈ N und n1 , . . . , nk ∈ N der Art, dass die Intervalle T −n1 (I),
T −n2 (I), . . . , T −nk (I) paarweise disjunkt sind und D bis auf eine Menge von kleinerem Maß als
2ε ausfüllen. Wegen der T -Invarianz von A und λD gilt für j ∈ {1, . . . , k}:

λD (A ∩ T −nj (I)) = λD (T −nj (A) ∩ T −nj (I)) = λD ◦ T −nj (A ∩ I)

= λD (A ∩ I) ≥ (1 − 2ε)λD (I) = (1 − 2ε)λD (T −nj (I)),

und dies führt auf

k
X k
X
−nj
λD (A) ≥ λD (A ∩ T (I)) ≥ (1 − 2ε) λD (T −nj (I)) ≥ (1 − 2ε)2 .
j=1 j=1

Daraus folgt λD (A) = 1.

Hier ist eine Hilfestellung für den Nachweis der Eigenschaft des Mischens:

Lemma 10.2.14. Sei A eine Algebra mit F = σ(A). Falls (10.2.2) für alle A, B ∈ A gilt, so
ist T mischend.

Der Beweis ist eine elementare Übungsaufgabe, man benutze Lemma 10.2.13.
Für das folgende Beispiel erinnern wir an Beispiel 10.2.5(d).

Satz 10.2.15. Jede irreduzible aperiodische positiv rekurrente stationäre Markovkette ist mi-
schend bezüglich des Shift-Operators.

Beweis. Es sei X = (Xn )n∈N0 die betrachtete Markovkette, die wir also als eine Zufallsgröße
mit Werten in dem messbaren Raum (I N0S , P(I)⊗N0 ) auffassen. Wir betrachten die σ-Algebren
Fn = σ(X0 , . . . , Xn ) und die Algebra A = n∈N0 Fn . Es ist leicht zu sehen, dass σ(A) = F. Nach
Lemma 10.2.14 brauchen wir nur für alle A, B ∈ A die Gleichung (10.2.2) beweisen. Jedes A ∈ A
ist von der Form A = (X(m) )−1 (C) mit m ∈ N0 und C ⊂ I m+1 , wobei X(n) = (X0 , . . . , Xn ). Also
reicht es zu zeigen, dass für alle m, k ∈ N0 gilt:

lim P(X(m) ∈ C, (θn X)(k) ∈ D) = P(X(m) ∈ C)P(X(k) ∈ D), C ⊂ I m+1 , D ⊂ I k+1 . (10.2.4)
n→∞

Zunächst machen wir uns klar, dass es hierbei reicht, (10.2.4) nur für endliche Mengen C und
D zu zeigen. Für beliebiges ε > 0 und D ⊂ I k+1 gibt es eine endliche Menge D0 ⊂ I k+1 mit
|P(X(k) ∈ D)−P(X(k) ∈ D0 )| < ε. Also folgt für beliebiges C ⊂ I m+1 mit Hilfe der Shift-Invarianz:

P(X(m) ∈ C,(θn X)(k) ∈ D) − P(X(m) ∈ C, (θn X)(k) ) ∈ D0 )

≤ P((θn X)(k) ) ∈ D) − P((θn X)(k) ∈ D0 )
= |P(X(k) ∈ D) − P(X(k) ∈ D0 )|
< ε.

Ein analoges Argument gibt es für C. Also reicht es, (10.2.4) nur für endliche Mengen C und D
zu zeigen.
Wir bezeichnen wie immer die Koeffizienten der zu Grunde liegenden stochastischen Matrix
mit pi,j . Mit ν bezeichnen wir die stationäre Startverteilung. Für endliche Mengen C ⊂ I m+1
10.2. STATIONÄRE PROZESSE UND DER ERGODENSATZ 179

und D ⊂ I k+1 und für n > m gilt

P(X(m) ∈ C, (θn X)(k) ∈ D)

X X m
Y k
Y
(n−m)
= ν(i0 ) pis−1 ,is pim ,j0 pjt−1 ,jt .
(i0 ,...,im )∈C (j0 ,...,jk )∈D s=1 t=1

Nach Satz 9.6.1 konvergiert der Term pi(n−m)

m ,j0
für n → ∞ gegen ν(j0 ), also (wegen der Endlichkeit
der Summen) der gesamte Ausdruck gegen

X m
Y X k
Y
ν(i0 ) pis−1 ,is ν(j0 ) pjt−1 ,jt = P(X(m) ∈ C)P(X(k) ∈ D).
(i0 ,...,im )∈C s=1 (j0 ,...,jk )∈D t=1

Nun kommen wir zum Hauptergebnis dieses Abschnitts:

Satz 10.2.16 (Birkhoffs Ergodensatz). Es sei T eine P Maß erhaltende Transformation auf
(Ω, F, P) und X ∈ L1 (P). Dann konvergiert Sn = n1 n−1 i=0 X ◦ T i fast sicher für n → ∞ gegen

eine JT -messbare Zufallsgröße Y , für die E(X) = E(Y ) gilt.

Beweis. Wir dürfen voraussetzen, dass X nichtnegativ ist, denn anderenfalls bemühen wir die
Zerlegung X = X + − X − . Sei also X ≥ 0.
Wir betrachten die beiden Zufallsgrößen X = lim supn→∞ Sn und X = lim inf n→∞ Sn . Man
sieht leicht, dass X ◦ T = X und X = X ◦ T gelten, also sind X und X messbar bezüglich JT .
Der Beweis des Satzes wird durch den Beweis der Aussage
Z Z Z
X dP ≤ X dP ≤ X dP (10.2.5)

beendet werden, denn dann folgt wegen X ≤ X sogar Gleichheit P-fast sicher nach Lem-
ma 6.5.4(b), d. h. Sn ist P-fast sicher sogar konvergent. Natürlich reicht es, nur die erste Unglei-
chung in (10.2.5) zu beweisen, die andere geht analog.
Die Grundidee des Beweises der ersten Ungleichung in (10.2.5) ist die folgende: Für gege-
benes ε > 0 werden wir geeignete zufällige Zeitpunkte 0 = n0 < n1 < n2 < . . . betrachten, an
denen der durchschnittliche gemittelte Zuwachs dem Limes Superior bis auf ε nahe kommt, d. h.

X(T nk (ω) (ω)) + · · · + X(T nk+1 (ω)−1 (ω)) ≥ [nk+1 (ω) − nk (ω)](X(ω) − ε).

Dann summieren wir über alle k, so dass nk+1 ≤ n, integrieren über ω ∈ Ω, teilen durch n,
lassen n → ∞ und zum Schluss ε ↓ 0, und dies beendet den Beweis.
Dabei haben wir ein paar technische Probleme: Erstens kann X unbeschränkt sein oder sogar
eventuell den Wert ∞ annehmen. Daher schneiden wir X ab: Für M > 0 sei X M = min{X, M }.
Natürlich hat auch X M die Eigenschaft X M = X M ◦T . Nun können wir einen wichtigen Baustein
zur Definition der Folge der nj einführen: Sei ε > 0, dann setzen wir

n(ω) = min{k ∈ N : Sk (ω) ≥ X M (ω) − ε}.

180 KAPITEL 10. STOCHASTISCHE PROZESSE

Die Abbildung n : Ω → N ist F-P(N)-messbar, denn für jedes k ∈ N gilt

k−1
\
{ω ∈ Ω : n(ω) = k} = {Sj < X M − ε} ∩ {Sk ≥ X M − ε}.
j=1

Die zweite technische Schwierigkeit besteht darin, dass die Abbildung n : Ω → N eventuell
nicht beschränkt ist. Aber da limN →∞ P({ω : n(ω) > N }) = 0 ist, kann man ein Nε ∈ N finden,
so dass
P(A) ≤ ε, wobei A = {ω : n(ω) > Nε }.
Nun stutzen wir auch n(ω) und X(ω) zurecht: Es sei
( (
X(ω) für ω ∈ Ω \ A, n(ω) für ω ∈ Ω \ A,
X(ω)
e = und n
e(ω) =
M für ω ∈ A, 1 für ω ∈ A.
Falls X(ω) > M , so ist n(ω) = 1 (wegen S1 (ω) = X(ω)), das heißt, es gilt ω ∈ A. Also haben wir
X(ω) ≤ X(ω)
e für alle ω ∈ Ω. Für ω ∈ A gilt wegen n
e(ω) = 1 und X(ω)
e = M die Abschätzung
n
e(ω)−1
1 X
e j (ω)) ≥ X M (ω) − ε.
X(T (10.2.6)
n
e(ω)
j=0

Diese Ungleichung gilt auch für ω ∈ / A, denn dann ist n e(ω) = n(ω), und wegen X ≤ X e ist die
linke Seite von (10.2.6) nicht kleiner als Sn(ω) (ω), also auch nicht kleiner als X M (ω) − ε nach
Definition von n(ω). Wegen P(A) ≤ ε gilt
Z Z Z Z
X dP =
e X dP +
e X dP ≤ X dP + M ε.
e (10.2.7)
Ac A

Nun definieren wir rekursiv die Folge der nj , die wir am Beginn des Beweises erwähnten:
n0 (ω) = 0 und e(T nk−1 (ω) (ω)),
nk (ω) = nk−1 (ω) + n k ∈ N.
Für m ∈ N sei Km (ω) = max{k ∈ N : nk (ω) ≤ m}. Wegen n
e(ω) ≤ Nε gilt m − nKm (ω) (ω) ≤ Nε .
Es folgt
m−1 nKm (ω) (ω)−1
X X
e j (ω)) ≥
X(T e j (ω))
X(T
j=0 j=0
n1 (ω)−1 n2 (ω)−1 nKm (ω) (ω)−1
X X X
= e j (ω)) +
X(T e j (ω)) + · · · +
X(T e j (ω)).
X(T
j=0 j=n1 (ω) j=nKm (ω)−1 (ω)

Nun wenden wir die Ungleichung (10.2.6) nach einander an auf ω, T n1 (ω) (ω), T n2 (ω) (ω), . . . ,
T nKm (ω)−1 (ω) (ω) und erhalten aus der vorherigen Ungleichung
m−1
X
e j (ω)) ≥ n1 (ω) X M (ω) − ε + (n2 (ω) − n1 (ω)) X M (T n1 (ω) (ω)) − ε

X(T
j=0

+ · · · + (nKm (ω) (ω) − nKm (ω)−1 (ω)) X M (T nKm (ω)−1 (ω) (ω)) − ε

= nKm (ω) (ω) X M (ω) − ε
≥ mX M (ω) + (nKm (ω) − m)X M (ω) − mε
≥ mX M (ω) − Nε M − mε.
10.2. STATIONÄRE PROZESSE UND DER ERGODENSATZ 181

wobei wir im zweiten Schritt ausnutzten, dass X M = X M ◦ T .

Nun dividieren wir durch m, integrieren über ω ∈ Ω bezüglich P und beachten, dass T Maß
erhaltend ist, um zu erhalten:
Z Z m−1 Z
1 X e j Nε M
X
e dP = X ◦ T dP ≥ X M dP − − ε.
m m
j=0

Wegen (10.2.7) haben wir

Z Z
Nε M
X dP ≥ X M dP −
− ε − M ε.
m
R R
Nun können wir m → ∞ und ε → 0 gehen lassen und erhalten X dP ≥ X M dP für jedes
M > 0. Mit dem monotonen Konvergenzsatz (siehe Satz 6.8.1) erhalten wir die erste Ungleichung
in (10.2.5). Damit ist der Beweis beendet.

Bemerkung 10.2.17. (a) Die Konvergenz in Satz 10.2.16 gilt auch im L1 -Sinn (Beweis als
Übungsaufgabe oder in [Bi65]). Die L1 -Konvergenz kann allerdings im Allgemeinen nicht
mit Hilfe des majorisierten Konvergenzsatzes (siehe Satz 6.8.6) bewiesen werden.

(b) Falls T ergodisch ist, so ist die Zufallsgröße Y in Birkhoffs Ergodensatz nach Bemer-
kung 10.2.7 fast sicher konstant.

Im folgenden Lemma charakterisieren wir die Zufallsgröße Y aus dem Birkhoff’schen Ergo-
densatz als den bedingten Erwartungswert von X gegeben JT , siehe Abschnitt 7.3.

Lemma 10.2.18 (Charakterisierung des Grenzwerts). In der Situation von Satz 10.2.16 gilt
Y = E(X | JT ).

Beweis. Dass Y messbar bezüglichR JT ist, Rhaben wir schon in Satz 10.2.16 erwähnt. Sei nun
A ∈ JT . Wir wollen zeigen, dass A X dP = A Y dP gilt. Wir wenden Satz 10.2.16 auf 1lA X an
und erhalten, dass eine JT -messbare Zufallsgröße YA existiert mit

n−1
1X
lim (1lA X) ◦ T j = YA fast sicher,
n→∞ n
j=0

R R R
und es gilt YA dP = 1lA X dP = AX dP. Da A invariant unter T ist, haben wir andererseits
aber auch
n−1 n−1
1X 1X
(1lA X) ◦ T j = 1lA X ◦ T j, n ∈ N.
n n
j=0 j=0
R R
Daher ist YA = Y 1lA fast sicher. Daraus folgt AX dP = AY dP, also besitzt Y auch die zweite
definierende Eigenschaft von E(X | JT ).
Wir formulieren den Birkhoff’schen Ergodensatz im Konzept stationärer Prozesse; siehe die
Diskussion nach Lemma 10.2.3. Wir erinnern daran, dass Jθ die σ-Algebra der unter dem Shift-
Operator θ invarianten messbaren Teilmengen des Folgenraums RN0 ist, siehe Bemerkung 10.2.7.
182 KAPITEL 10. STOCHASTISCHE PROZESSE

Satz 10.2.19 (Ergodensatz für stationäre Prozesse). Es sei X = (Xn )n∈N0 ein stationärer
Prozess, so dass Xn integrierbar ist für jedes n. Dann gilt
n−1
1X
lim Xj = E[X0 | Jθ ] fast sicher.
n→∞ n
j=0

Beweis. Der Shift-Operator θ : RN0 → RN0 ist Maß erhaltend für P ◦ X−1 , und die Projektion
π0 : RN0 → R auf den nullten P Faktor liegt im L1 (P ◦ X−1 ). Nach Satz 10.2.16, kombiniert mit
1 n−1 1 Pn−1
Lemma 10.2.18, konvergiert n j=0 Xj = n j=0 π0 ◦θj fast sicher gegen den bedingten Erwar-
tungswert von π0 unter P ◦ X−1 gegeben Jθ . Da aber (πn )n∈N0 auf dem Raum RN0 die identische
Abbildung ist, ist dies auch gleich E[X0 | Jθ ].

Beispiel 10.2.20 (Markovketten). Ein Spezialfall von Satz 10.2.19 ist der folgende: Für jede
irreduzible, aperiodische, positiv rekurrente Markovkette (Xn )n∈N0 auf einer abzählbaren Menge
I mit invarianter Verteilung π und für jede π-integrierbare Abbildung f : I → R gilt fast sicher
n−1
1X X
lim f (Xj ) = f (i) π(i).
n→∞ n
j=0 i∈I

Diese Aussage folgt aus Satz 10.2.19 in dem Fall, dass die Markovkette mit π gestartet wird,
also stationär ist, denn man sieht leicht, dass auch (f (Xn ))n∈N0 ergodisch ist. (Man zeige und
benutze, dass die Abbildung F : I N0 → RN0 , gegeben durch F ((xk )k∈N0 ) = (f (xk ))k∈N0 , erfüllt:
F ◦ θI = θR ◦ F , wobei θI und θR die beiden Shiftoperatoren auf I N0 bzw. RN0 sind.) Aber sie
gilt auch für jede beliebige Startverteilung, wie man mit Hilfe von Satz 9.6.1 zeigt.
Wendet man dies auf f = 1l{i} mit einem i ∈ I an, so erhält man, dass die sogenannten
Lokalzeiten `n (i) = n−1 1
P
j=0 1l{Xj =i} erfüllen: limn→∞ n `n (i) = π(i) fast sicher, d. h. der mittlere
Anteil der Treffer in i konvergiert fast sicher gegen die invariante Verteilung in i. 3
Beispiel 10.2.21 d
Pn(Range einer Irrfahrt). Sei (Xn )n∈N0 ein stationärer Prozess im R , und
sei durch Sn = i=1 Xi die Irrfahrt mit Schritten Xi definiert. Der Range der Irrfahrt nach
n Schritten ist die Anzahl der besuchten Punkte, also Rn = #{S1 , . . . , Sn }. Dann zeigt man
als eine Übungsaufgabe, dass fast sicher gilt: limn→∞ Rn /n = P(A | Jθ ), wobei A = {Sn 6=
0 für jedes n ∈ N} das Fluchtereignis ist. 3
Der Spezialfall von Satz 10.2.19 von unabhängigen identisch verteilten Zufallsgrößen ist
berühmt:

Korollar 10.2.22 (Starkes Gesetz der Großen Zahlen). Es sei (Xn )n∈N0 eine Folge von un-
abhängigen identisch verteilten integrierbaren Zufallsgrößen. Dann gilt
n−1
1X
P lim Xj = E(X1 ) = 1.
n→∞ n
j=0

Beweis. Nach Beispiel 10.2.5(a)P ist X = (Xn )n∈N0 insbesondere ein stationärer Prozess, also
konvergiert nach Satz 10.2.19 n n−1
1
i=0 Xi fast sicher gegen E[X1 | Jθ ]. Da der Shift-Operator
nach Lemma 10.2.8 ergodisch ist, ist dies nach Bemerkung 10.2.7 fast sicher konstant, also gleich
E(X1 ).
Kapitel 11

Irrfahrten und die Brownsche

Bewegung

Der wichtigste stochastische Prozess und eines der beziehungsreichsten und bedeutendsten Ob-
jekte der Wahrscheinlichkeitstheorie ist die Brown’sche Bewegung, ein stetiger Prozess mit Gauß’-
schen endlich-dimensionalen Verteilungen. Die überragende Bedeutung dieses Prozesses gründet
sich unter Anderem darauf, dass er – ähnlich wie die Normalverteilung – als natürlicher univer-
seller Grenzwert einer Vielzahl von stochastischen Prozessen auftaucht. In diesem Kapitel führen
wir die Brown’sche Bewegung ein als Grenzverteilung einer geeignet reskalierten Irrfahrt auf R.
Zunächst betrachten wir in Abschnitt 11.1 eine spezielle Irrfahrt, die einfache Irrfahrt, ein wenig
genauer und ermitteln die Verteilungen von ein paar Funktionalen ihres Pfades. Dann konstru-
ieren wir in Abschnitt 11.2 die Brown’sche Bewegung mit Hilfe des Zentralen Grenzwertsatzes,
des Straffheitskriteriums von Prohorov und des Kompaktheitskriteriums von Arzelà-Ascoli.

11.1 Die einfache Irrfahrt

In diesem Abschnitt betrachten wir ein grundlegendes stochastisches Modell ein wenig genauer:
die einfache Irrfahrt, die wir als eine Markovkette schon in Beispiel 9.2.3 kennenlernten. Hier
wollen wir mit Hilfe elementarer Kombinatorik ein paar explizite Rechnungen durchführen, um
die Verteilung dieses Prozesses näher zu charakterisieren.
Sei eine Folge X1 , X2 , . . . von unabhängigen symmetrisch verteilten {−1, 1}-wertigen Zu-
fallsgrößen gegeben, dann definiert Sn = X1 + X2 + · · · + Xn die Irrfahrt (Sn )n∈N0 . Der Pfad
(S0 , S1 , . . . , Sn ) ist also uniform verteilt auf der Menge
Ωn = {(s0 , . . . , sn ) ∈ Zn+1 : s0 = 0 und |si − si−1 | = 1 für alle i = 1, . . . , n}.
Das zugehörige Wahrscheinlichkeitsmaß bezeichen wir mit Pn .
Uns interessieren unter Anderem die Verteilungen der folgenden Funktionale des Pfades
(S0 , S1 , . . . , Sn ), und zwar sowohl für festes n als auch asymptotisch für n → ∞:

• der Endpunkt Sn ,
• das Maximum von S0 , S1 , . . . , Sn ,
• die Zeitdauer, die der Pfad in N verbringt,

183
184 KAPITEL 11. IRRFAHRTEN UND DIE BROWNSCHE BEWEGUNG

• der Zeitpunkt der ersten Rückkehr zur Null.

Das wichtigste analytische Hilfsmittel bei den asymptotischen Aussagen wird die Stirling’sche
Formel sein, die besagt:
√ n n
n! ∼ 2πn , n → ∞, (11.1.1)
e
wobei wir wie immer ∼ für asymptotische Äquivalenz benutzen.
Wenden wir uns zunächst der Verteilung von Sn zu.

Lemma 11.1.1. Für alle n ∈ N und i ∈ Z gilt

(
0 falls n + i ungerade oder |i| > n,
Pn (Sn = i) = n
2−n (n+i)/2 sonst.

Beweis. Es ist klar, dass das Ereignis {Sn = i} nicht eintreten kann, wenn |i| > n.
Da das Teilchen zu jedem Zeitpunkt um eine Einheit springen muss, kann es zu einem
geraden Zeitpunkt nicht in einem ungeraden Raumpunkt sein und umgekehrt. Falls n + i gerade
ist, dann muss das Teilchen, um zum Zeitpunkt n in i zu sein, genau (n + i)/2 Mal aufwärts
n

springen und genau (n − i)/2 Mal abwärts. Es gibt genau (n+i)/2 Pfade, die dies tun.

Man beachte, dass die Wahrscheinlichkeiten P2n (S2n = 2i) in i steigend sind für i ≤ 0 und
fallend für i ≥ 0. Insbesondere ist

u2n = P2n (S2n = 0)

der größte unter ihnen. Die Asymptotik von u2n ermittelt man als Übungsaufgabe mit Hilfe von
Lemma 11.1.1 und der Stirlingschen Formel in (11.1.1):

Korollar 11.1.2. Es gilt

−2n 2n 1
u2n = 2 ∼√ , n → ∞.
n πn

Nun wenden wir uns der Verteilung des Minimums des Pfades zu, also der Zufallsgröße

Mn = min{S0 , . . . , Sn }.

Eines der wichtigsten Hilfsmittel hierfür ist das Spiegelungsprinzip, das durch geschicktes Spie-
geln eines Teils des Pfades einen Vergleich zwischen gewissen Pfadklassen herstellt. Im Folgenden
bestimmen wir die Wahrscheinlichkeit der Menge der Pfade, die den Punkt j ∈ −N0 erreichen
und nach insgesamt n Schritten in i ≥ j enden. Zur Veranschaulichung des folgenden Prinzips
ist eine Skizze hilfreich.

Lemma 11.1.3 (Spiegelungsprinzip). Für alle n ∈ N und alle i, j ∈ Z mit j ≤ 0 und i ≥ j

gilt Pn (Mn ≤ j, Sn = i) = Pn (Sn = i − 2j).

Beweis. Wir brauchen nur den Fall zu betrachten, dass n + i gerade ist, sonst sind beide
betrachteten Ereignisse leer.
11.1. DIE EINFACHE IRRFAHRT 185

Für einen Pfad s in {Mn ≤ j, Sn = i} betrachten wir das kleinste k ∈ {1, . . . , n} mit sk = j,
also den ersten Zeitpunkt, an dem das Teilchen den Wert j erreicht. Nun spiegeln wir das
Pfadstück (sk , . . . , sn ) an sk = j und erhalten einen Pfad s̃ = (s̃0 , . . . , s̃n ) ∈ Ωn mit s̃n = 2j − i.
Dieser Pfad liegt also in dem Ereignis {Sn = 2j − i}.
Nun überlegt man sich leicht, dass die oben durchgeführte Abbildung (Spiegeln ab dem er-
sten Erreichenszeitpunkt des Niveaus j) sogar eine bijektive Abbildung zwischen den Ereignissen
{Mn ≤ j, Sn = i} und {Sn = 2j − i} ist. Die Umkehrabbildung erhält man, indem man einen
Pfad aus {Sn = 2j − i} ab dem ersten Zeitpunkt, an dem er das Niveau j erreicht, spiegelt. (Er
muss dieses Niveau spätestens zum Zeitpunkt n erreichen, da 2j − i ≤ j ≤ 0.) Also enthalten
die Mengen {Mn ≤ j, Sn = i} und {Sn = 2j − i} die selbe Anzahl von Pfaden. Daraus folgt die
Behauptung, denn Pn (Mn ≤ j, Sn = i) = Pn (Sn = 2j − i) = Pn (Sn = i − 2j).
Mit Hilfe des Spiegelungsprinzips können wir nun die gemeinsame Verteilung des Endpunkts
Sn und des Minimums Mn bestimmen:

Satz 11.1.4 (Verteilung des Minimums des Pfades). Für alle n ∈ N und alle i, j ∈ Z mit j ≤ 0
und i ≥ j gelten:

Pn (Mn = j, Sn = i) = Pn (Sn = i − 2j) − Pn (Sn = i − 2j + 2),

Pn (Mn = j) = Pn (Sn ∈ {j, j − 1}).

Beweis. Übungsaufgabe.

Aus Symmetriegründen erhält man aus Satz 11.1.4 natürlich auch die gemeinsame Verteilung
des Endpunkts und des Maximums des Pfades.
Nun betrachten wir die Ereignisse, dass das Teilchen erst nach 2n Schritten zum Ursprung
zurück kehrt bzw. nicht mehr bzw. nie den negativen Bereich betritt:

A2n = S1 6= 0, . . . , S2n−1 6= 0, S2n = 0 ,

B2n = Si 6= 0 für alle i ∈ {1, . . . , 2n} ,

C2n = Si ≥ 0 für alle i ∈ {1, . . . , 2n} .

Wir erinnern daran, dass u2n die Wahrscheinlichkeit dafür ist, dass das Teilchen zum Zeitpunkt
2n sich in Null befindet. Offensichtlich ist also P2n (A2n ) ≤ u2n . In den beiden Ereignissen B2n
und A2n kann sich das Teilchen im Zeitintervall {1, . . . , 2n − 1} entweder in N oder in −N
aufhalten.
Lemma 11.1.5. Für jedes n ∈ N gelten die Beziehungen
1
P2n (A2n ) = u2n−2 = u2n−2 − u2n , (11.1.2)
2n
P2n (B2n ) = u2n , (11.1.3)
P2n (C2n ) = u2n . (11.1.4)

Beweis. (11.1.2): Wir zählen die Pfade in A2n , die im positiven Bereich verlaufen, und multipli-
zieren deren Anzahl mit 2. Ein solcher Pfad ist zu den Zeitpunkten 1 und 2n − 1 in 1. Die Zahl
186 KAPITEL 11. IRRFAHRTEN UND DIE BROWNSCHE BEWEGUNG

der (2n − 2)-schrittigen in 1 startenden und endenden Pfade, die nie die Null betreten, ist gleich
der Zahl der (2n − 2)-schrittigen in 1 startenden und endenden Pfade minus die Zahl solcher
Pfade, die zwischendurch die Null betreten. Diese beiden Anzahlen sind gleich der Anzahl der
Pfade in dem Ereignis {S2n−2 = 0} bzw. in {M2n−2 ≤ −1, S2n−2 = 0}. Also haben wir

P2n (A2n ) = 2P2n (S1 > 0, . . . , S2n−1 > 0, S2n = 0)

= 2−2n+1 |{S2n−2 = 0}| − |{M2n−2 ≤ −1, S2n−2 = 0}| .

Nach dem Spiegelungsprinzip ist der letzte Term gleich |{S2n−2 = 2}|. Mit Hilfe von Lem-
ma 11.1.1 können wir nun ausrechnen:

1 2n − 2 2n − 2 1
P2n (A2n ) = 2−2(n−1) − = u2n−2 .
2 n−1 n 2n

Dies beweist die erste Gleichung in (11.1.2); die zweite rechnet man leicht nach.
(11.1.3): Das Gegenereignis von B2n ist das Ereignis, dass das Teilchen zu einem der Zeit-
punkte 2j mit j ∈ {1, . . . , n} zum ersten Mal zurück zur Null kehrt, also die disjunkte Verei-
nigung der Ereignisse {S1 6= 0, . . . , S2j−1 6= 0, S2j = 0}. Man überlegt sich leicht, dass dieses
Ereignis die Wahrscheinlichkeit P2j (A2j ) hat. Wenn wir (11.1.2) für j an Stelle von n anwenden,
erhalten wir also, dass
n
X n
X
P2n (B2n ) = 1 − P2j (A2j ) = 1 − (u2(j−1) − u2j ) = u2n .
j=1 j=1

(11.1.4): Übungsaufgabe.

Bemerkung 11.1.6 (Rekurrenz und Nullrekurrenz). Aus (11.1.3) in Kombination mit der
Tatsache limn→∞ u2n = 0 (siehe Korollar 11.1.2) erhalten wir einen alternativen Beweis der
Rekurrenz der einfachen Irrfahrt, siehe Satz 9.3.9. Wir betrachten den ersten Zeitpunkt einer
Rückkehr zum Startpunkt:

T = inf{k ∈ N : Sk = 0} ∈ N0 ∪ {∞}.

Dann sehen wir, dass

c
P(T < ∞) = lim P(T ≤ 2n) = lim P(B2n ) = lim (1 − u2n ) = 1,
n→∞ n→∞ n→∞

also die Rekurrenz.

Eine weitere Folgerung aus Lemma 11.1.5 betrifft die erwartete Rückkehrzeit E(T ) zum
Ursprung, denn wegen {T = 2n} = A2n liefert die erste Gleichung in (11.1.2), dass diese Reihe
divergiert:
∞ ∞ ∞
X X 1 X
E(T ) = 2nP(A2n ) = 2n u2n−2 = u2n−2 ,
2n
n=1 n=1 n=1

und wegen Korollar 11.1.2 divergiert diese Reihe. Dies zeigt noch einmal die Nullrekurrenz, siehe
Definition 9.5.4 und Beispiel 9.5.7. 3
11.1. DIE EINFACHE IRRFAHRT 187

Nun bearbeiten wir die Frage, mit welcher Wahrscheinlichkeit das Teilchen sich eine gegebene
Anzahl von Zeitpunkten im positiven Bereich aufhält. Wir betrachten also die Zufallsgröße, die
die Zeit angibt, die der zufällige 2n-schrittige Pfad im positiven Bereich verbringt:

Z2n = 2|{i ∈ {1, . . . , n} : S2i−1 > 0}|.

Die Zufallsgröße Z2n nimmt nur Werte in {0, 2, 4, . . . , 2n} an. Das Ereignis {Z2n = 0} ist das
Ereignis {Si ≤ 0 für alle i ∈ {1, . . . , 2n}}, und das Ereignis {Z2n = 2n} ist identisch mit {Si ≥
0 für alle i ∈ {1, . . . , 2n}}, also mit C2n . Nach (11.1.4) ist also P2n (Z2n = 0) = P2n (Z2n =
2n} = u2n . Außerdem ist die Abbildung j 7→ P2n (Z2n = 2j) symmetrisch in dem Sinne, dass
P2n (Z2n = 2j) = P2n (Z2n = 2(n − j)). Wir bestimmen nun die Verteilung von Z2n :
Lemma 11.1.7. Für jedes n ∈ N und alle j ∈ {0, . . . , n} gilt P2n (Z2n = 2j) = u2j u2(n−j) .

Beweis. Wir führen eine Induktion nach n. Der Fall n = 1 ist klar.
Wir nehmen nun an, die Aussage trifft zu für alle k ≤ n − 1, und wir beweisen sie für
n. Oben hatten wir schon darauf hin gewiesen, dass die Aussage für j = 0 und für j = n
zutrifft, also behandeln wir nur noch den Fall 1 ≤ j ≤ n − 1. Im Ereignis {Z2n = 2j} muss
das Teilchen zu einem der Zeitpunkte 2, 4, 6, . . . , 2n − 2 in Null sein, und wir spalten auf nach
dem ersten solchen Zeitpunkt und danach, ob der Pfad zuvor im positiven oder im negativen
Bereich verläuft. Diesen Zeitpunkt nennen wir 2l. Im ersten Fall (d. h., wenn der Pfad bis 2l in
N verläuft) muss l ≤ j gelten, und nach dem Zeitpunkt 2l bleibt er genau 2(j − l) Zeitpunkte
im positiven Bereich. Im zweiten Fall muss l ≤ n − j gelten, denn nach dem Zeitpunkt 2l muss
der Pfad ja noch genau 2j Zeitpunkte im Positiven bleiben. Diese Überlegungen führen zu der
Formel
j
X
P2n (Z2n = 2j) = P2l (S1 > 0, . . . , S2l−1 > 0, S2l = 0)P2(n−l) (Z2(n−l) = 2(j − l))
l=1
n−j
X
+ P2l (S1 < 0, . . . , S2l−1 < 0, S2l = 0)P2(n−l) (Z2(n−l) = 2j).
l=1

Nun können wir die Induktionsvoraussetzung einsetzen und erhalten

j
1 X
P2n (Z2n = 2j) = u2(n−j) 6 0, . . . , S2l−1 6= 0, S2l = 0)u2(j−l)
P2l (S1 =
2
l=1
n−j
1 X
+ u2j P2l (S1 6= 0, . . . , S2l−1 6= 0, S2l = 0)u2(n−j−l) .
2
l=1

Nun beachte man, dass die erste Summe die Wahrscheinlichkeit der disjunkten Vereinigung über
l ∈ {1, . . . , j} der Ereignisse ist, dass der Pfad zum Zeitpunkt 2l zum ersten Mal in Null ist und
dann zum Zeitpunkt 2j ebenfalls. Also ist die erste Summe gleich der Wahrscheinlichkeit des
Ereignisses {S2j = 0}, d. h. gleich u2j . Analog ist die zweite Summe gleich u2(n−j) . Damit ist
der Beweis beendet.
Aus Lemma 11.1.7 und Korollar 11.1.2 erhält man mit ein wenig Rechnung, dass
P2n (Z2n = 2j) n − 1 − 2j
=1+ ,
P2n (Z2n = 2(j + 1)) (n − j)(2j + 1)
188 KAPITEL 11. IRRFAHRTEN UND DIE BROWNSCHE BEWEGUNG

und der Quotient auf der rechten Seite ist positiv für j ∈ [0, 21 (n − 1)] und negativ für j ∈
[ 12 (n − 1), n]. Die Wahrscheinlichkeiten P2n (Z2n = 2j) fallen also in der linken Hälfte des De-
finitionsbereiches {0, . . . , n} und steigen in der rechten. Sie sind also für j = 0 und j = n am
größten. Wenn also zwei gleich starke Tennisspieler eine Serie von Matches gegeneinander spie-
len, so ist es viel wahrscheinlicher, dass einer von ihnen die gesamte Zeit über führt, als dass die
Dauer der Führung sich ausgleicht. Dies sieht man auch an den Asymptoten

1 2
P2n (Z2n = 0) = P2n (Z2n = 2n) ∼ √ und P2n (Z2n = 2bn/2c) ∼ ,
πn πn

das heißt, die Wahrscheinlichkeit für einen Ausgleich der Führungsdauern geht sogar doppelt so
schnell gegen Null wie die Wahrscheinlichkeit für ständige Führung eines der Spieler.
Mit Hilfe der Asymptotik in Korollar 11.1.2 erhalten wir sogar einen sehr schönen Grenz-
wertsatz:

Satz 11.1.8 (Arcussinus-Gesetz). Für alle 0 < a < b < 1 gilt

Z2n 1Z b 1 2 √ √
lim P2n a≤ ≤b = p dx = arcsin b − arcsin a .
n→∞ 2n π a x(1 − x) π

1
Mit anderen Worten, 2n Z2n konvergiert in Verteilung gegen die Arcussinus-Verteilung.

Beweisskizze. Es gilt für n → ∞:

≈bn ≈bn ≈bn

Z2n X X X 1
P2n a≤ ≤b ∼ P2n (Z2n = 2j) = u2j u2(n−j) ∼ p
2n πjπ(n − j)
j≈an j≈an j≈an
≈bn
1 1 X 1
= q ,
π n j
(1 − j
)
j≈an n n

wobei wir Randeffekte bei j ≈ an, bn R b vernachlässigten. Der letzte Ausdruck ist offensichtlich eine
Riemannsumme für das Integral π1 a (x(1−x))−1/2 dx für äquidistante Unterteilung in Intervalle
der Länge n1 . Also konvergiert dieser Ausdruck gegen das Integral.
Man nennt eine Zufallsgröße Z Arcussinus-verteilt, wenn für alle 0 < a < b < 1 gilt:

1
Z b
1 2 √ √
P(a ≤ Z ≤ b) = p dx = arcsin b − arcsin a .
π a x(1 − x) π

11.2 Konstruktion der Brown’schen Bewegung

Wenn man den Graphen einer Irfahrt (S0 , . . . , Sn ) auf Z zu einem Polygonzug interpoliert, erhält
man eine zufällige stetige Funktion [0, n] → R. Nach dem Zentralen Grenzwertsatz (Satz 8.3.18)
√
ist zumindest der Endpunkt dieser Funktion für n → ∞ von der Größenordnung n. Also kann
√
man auf die Idee kommen, diese Funktion zeitlich mit n und räumlich mit n zu reskalieren und
nach dem Verhalten dieser Funktion [0, 1] → R zu fragen. Wir betrachten also die stückweise
11.2. KONSTRUKTION DER BROWN’SCHEN BEWEGUNG 189

lineare, zufällige Funktion

1
Bt(n) = √ Sbtnc + tn − btnc Xbtnc+1 ,

t ∈ [0, 1], (11.2.1)
n

wobei die Xi die Schritte der Irrfahrt sind, also Sn = X1 + · · · + Xn . Es sei C0 = C0 ([0, 1]) die
Menge der stetigen Funktionen [0, 1] → R, die in Null starten. Daher liegt B (n) = (Bt(n) )t∈[0,1]
in C0 . Wir fassen C0 , zusammen mit der Supremumsmetrik, als einen polnischen Raum auf. Wie
man sich als eine Übungsaufgabe überlegt, gilt dann für die zugehörige Borel-σ-Algebra BC0 :
_
BC0 = πt−1 (BR ) = σ(πt : t ∈ [0, 1]), (11.2.2)
t∈[0,1]

wobei πt die eindimensionalen Projektionen f 7→ f (t) sind. Offensichtlich ist Bt(n) für jedes
t ∈ [0, 1] eine messbare Zufallsgröße. Wegen (11.2.2) ist B (n) messbar bezüglich BC0 , also eine
C0 -wertige Zufallsgröße.
Wie oben angedeutet, konvergiert der Endpunkt B1(n) dieser Funktion in Verteilung gegen
die Standardnormalverteilung N . Hierfür benötigt man nur, dass die Schritte X1 , X2 , . . . un-
abhängige, identisch verteilte standardisierte Zufallsgrößen sind, also E[Xi ] = 0 und E[Xi2 ] = 1
erfüllen, und dies wollen wir in diesem Abschnitt voraussetzen.
Aus dem Zentralen Grenzwertsatz kann man allerdings noch viel mehr herausholen als nur
√
die Konvergenz von B1(n) = Sn / n gegen N :

Lemma 11.2.1. Sei Sn = X1 + · · · + Xn eine Irrfahrt auf R mit unabhängigen, identisch

verteilten standardisierten Schritten X1 , X2 , . . . . Seien m ∈ N und 0 < t1 < t2 < · · · < tm ≤
1, dann konvergiert der Vektor (Bt(n)1
, Bt(n)
2
, . . . , Bt(n)
m
) in Verteilung gegen die m-dimensionale
Normalverteilung mit Erwartungswertvektor Null und Kovarianzmatrix (min{ti , tj })i,j=1,...,m .
In anderen Worten, die gemeinsame Verteilung der Zufallsgrößen

Bt(n)
1
− B0(n) , Bt(n)
2
− Bt(n)
1
, . . . , Bt(n)
m
− Bt(n)
m−1
(11.2.3)

konvergiert gegen m unabhängige Normalverteilungen mit Erwartungswerten Null und Varianzen

t1 , t2 − t1 , . . . , tm − tm−1 .

Beweisskizze. Um die technischen Details gering zu halten, zeigen wir die letzte der beiden
1
Aussagen nur für den Fall, dass die ti ersetzt werden durch t(n)
i ∈ n N0 , die gegen ti konvergieren
(n)
(mit t0 = 0). Dann nämlich sind die Zufallsgrößen in (11.2.3) exakt gleich den Zufallsgrößen
(n)
nti
1 X
√ Xk , i = 1, . . . , m;
n (n)
k=nti−1 +1

man beachte, dass die Summationsgrenzen nun natürliche Zahlen sind. Diese Zufallsgrößen sind
offensichtlich unabhängig, und ihre Limesverteilung ist jeweils N (0, ti − ti−1 ), wie aus dem
Zentralen Grenzwertsatz folgt. Dies zeigt also die zweite Aussage.
Die erste erhält man zum Beispiel durch folgendes Argument. Die gemeinsame Grenz-
verteilung der Größen in (11.2.3) ist eine m-dimensionale Normalverteilung, und den Vektor
(Bt(n)
1
, Bt(n)
2
, . . . , Bt(n)
m
) erhält man durch eine gewisse explizite bijektive lineare Abbildung aus
190 KAPITEL 11. IRRFAHRTEN UND DIE BROWNSCHE BEWEGUNG

dem Vektor der Größen in (11.2.3). Also konvergiert er ebenfalls gegen eine m-dimensionale
Normalverteilung, die das Bildmaß von
m
O
N (0, Diag((ti − ti−1 )m
i=1 ) = N (0, ti − ti−1 )
i=1

unter dieser Abbildung ist, die man ja explizit ausrechnen kann, was wir hier nicht machen
wollen.
Statt dessen benutzen wir, dass zwei zentrierte Normalverteilungen schon dann überein-
stimmen, wenn ihre Kovarianzmatrizen übereinstimmen, und berechnen einfach nur die Ko-
varianzen. Wir bezeichnen den Grenzzufallsvektor mit (Bt1 , Bt2 , . . . , Btm ), dann gilt für alle
i, j ∈ {1, . . . , m} mit i < j:

cov(Bti , Btj ) = E Bti Btj = E Bti Btj−1 + E Bti (Btj − Btj−1 )
i
X
= E Bti Btj−1 + E (Btl − Btl−1 )(Btj − Btj−1 )
l=1

= E Bti Btj−1 ,

denn wir schrieben Bti als eine Teleskopsumme der Btl − Btl−1 und nutzten aus, dass diese von
Btj − Btj−1 unabhängig sind und zentriert. Falls auch noch i < j − 1 gilt, können wir die selbe
Rechnung anwenden und erhalten, dass cov(Bti , Btj ) = E[Bti Btj−2 ] gilt. Iteration ergibt, dass
cov(Bti , Btj ) = E[Bti Bti ] = V(Bti ) gilt. Um diese Varianz zu bestimmen, schreiben wir wieder
Bti als eine Teleskopsumme der Btl − Btl−1 und sehen leicht, dass V(Bti ) = ti gilt, denn die
Varianzen addieren sich. Dies zeigt, dass die Kovarianzmatrix von (Bt1 , Bt2 , . . . , Btm ) gerade die
angegebene ist.
Also wissen wir schon, dass die endlich-dimensionalen Verteilungen des Prozesses B (n) kon-
vergieren, und zwar gegen einen gewissen Gauß’schen Prozess:

Definition 11.2.2 (Brown’sche Bewegung). Eine Brown’sche Bewegung ist ein reellwertiger
stochastischer Prozess B = (Bt )t∈[0,1] in stetiger Zeit mit den folgenden drei charakteristischen
Eigenschaften:

(i) B0 = 0 fast sicher,

(ii) Für jedes m ∈ N und jede 0 ≤ t0 < t1 < · · · < tm ≤ 1 ist der Vektor (B(tm ) −
B(tm−1 ), B(tm−1 ) − B(tm−2 ), . . . , B(t1 ) − B(t0 )) normalverteilt mit Erwartungswertvek-
tor 0 und Kovarianzmatrix Diag(tm − tm−1 , tm−1 − tm−2 , . . . , t1 − t0 ),

(iii) Die Pfade t 7→ Bt sind fast sicher stetig.

Das berühmte Wiener-Maß ist die Verteilung einer Brown’schen Bewegung:

Definition 11.2.3 (Wiener-Maß). Sei B eine Brown’sche Bewegung, also eine Zufallsgröße
mit Werten in C0 ([0, 1]), definiert auf einem geeigneten Wahrscheinlichkeitsraum (Ω, F, P).
Dann heißt das Bildmaß P ◦ B −1 auf C0 ([0, 1]) das Wiener-Maß.
11.2. KONSTRUKTION DER BROWN’SCHEN BEWEGUNG 191

Meist definiert man eine Brown’sche Bewegung und das Wiener-Maß auf dem Zeitintervall
[0, ∞) an Stelle von [0, 1], aber das soll uns hier nicht kümmern. Die Brown’sche Bewegung und
das Wiener-Maß sind die bedeutungsvollsten und beziehungsreichsten Objekte der Wahrschein-
lichkeitstheorie, und eine enorme Literatur über sie hat sich in den letzten Jahrzehnten angesam-
melt. Mehr über die Historie, Bedeutung, Konstruktionen und Eigenschaften der Brown’schen
Bewegung findet man in der Vorlesung Stochastische Prozesse.
Zurück zu unserem zufälligen Polygonzug. Falls (B (n) )n∈N in Verteilung konvergiert, so kon-
vergieren alle endlich-dimensionalen Verteilungen ebenfalls, denn für jedes m ∈ N0 und jede
0 ≤ t0 < t1 < · · · < tm ≤ 1 ist die Abbildung f 7→ (f (t0 ), . . . , f (tm )) stetig von C0 ([0, 1]) nach
Rm+1 ; siehe das Continuous mapping theorem in Lemma 8.2.11. Der einzige mögliche Häufungs-
punkt (im Sinne der Verteilungskonvergenz) von (B (n) )n∈N ist also eine Brown’sche Bewegung.
Die Familie der Abbildungen f 7→ (f (t0 ), . . . , f (tm )) mit m ∈ N0 und 0 ≤ t0 < t1 < · · · < tm ≤ 1
ist sogar eine trennende Familie (siehe Definition 8.2.25), denn nach einer zeitlich stetigen Va-
riante von Lemma 10.1.4 (die wir hier nicht näher ausformulieren oder beweisen) bestimmen
die endlich-dimensionalen Verteilungen den Prozess eindeutig. Nach Satz 8.2.26 konvergiert die
Folge (B (n) )n∈N genau dann gegen eine Brown’sche Bewegung, wenn sie straff ist. Mit anderen
Worten, die Straffheit der Folge (B (n) )n∈N sichert die Existenz einer Brown’schen Bewegung.
Dies ist der Inhalt des folgenden Satzes.

Satz 11.2.4 (Donsker’sches Invarianzprinzip). Sei Sn = X1 + · · · + Xn eine Irrfahrt auf R mit

unabhängigen, identisch verteilten standardisierten Schritten X1 , X2 , . . . . Dann ist die Folge
(B (n) )n∈N von C0 ([0, 1])-wertigen Zufallsvariablen straff. Insbesondere konvergiert (B (n) )n∈N in
Verteilung gegen eine Brown’sche Bewegung.

Man nennt den Satz 11.2.4 ein Invarianzprinzip oder einen funktionalen Grenzwertsatz. Der
erste Begriff betont, dass der Grenzprozess invariant ist unter der zugrunde liegenden Schritt-
verteilung der Irrfahrt (solange sie standardisiert ist), und der zweite weist darauf hin, dass die
Aussage eine Ausweitung des Zentralen Grenzwertsatzes auf zufällige Funktionen ist. Satz 11.2.4
liefert eine Konstruktion der Brown’schen Bewegung sowie eine Approximationsaussage mit re-
skalierten Irrfahrten. Letztere werden wir in Lemmas 11.2.7 und 11.2.8 einsetzen, um die Ver-
teilung gewisser Funktionale des Brown’schen Pfades zu ermitteln; es werden Ergebnisse aus
Abschnitt 11.1 hilfreich sein.
Im Laufe des Beweises von Satz 11.2.4 muss die Kompaktheit gewisser Teilmengen von
C0 ([0, 1]) gezeigt werden. Das geeignete Kriterium liefert der folgende berühmte Satz aus der
Funktionalanalysis. Wir führen die folgende Maßgröße für die Stetigkeit einer Funktion ein:

wδ (f ) = sup |f (s) − f (t)| : s, t ∈ [0, 1], |s − t| ≤ δ , f : [0, 1] → R, δ > 0. (11.2.4)

Eine Funktion f : [0, 1] → R ist also genau dann gleichmäßig stetig, wenn limδ↓0 wδ (f ) = 0 ist.

Satz 11.2.5 (Arzelà-Ascoli). Eine Teilmenge K von C([0, 1]) hat genau dann einen kompakten
Abschluss, wenn gelten:

(i) sup |f (0)| < ∞ und (ii) lim sup wδ (f ) = 0.

f ∈K δ↓0 f ∈K
192 KAPITEL 11. IRRFAHRTEN UND DIE BROWNSCHE BEWEGUNG

Beweise finden sich in vielen Lehrbüchern der Funktionalanalysis. Wenn wir nun die Straff-
heit der Folge (B (n) )n∈N zeigen wollen, so ist nur die Eigenschaft (ii), die gleichmäßige gleichgra-
dige Stetigkeit von K, zu beachten, denn die B (n) starten alle in Null. Die Aufgabe lautet also,
zu jedem ε > 0 eine kompakte Menge K ⊂ C0 ([0, 1]) zu finden, so dass P(B (n) ∈ K c ) < ε für
jedes n ∈ N gilt.
Wir geben nun einen Beweis von Satz 11.2.4. Zunächst passen wir die Aussage des Satzes
von Arzelà-Ascoli auf die Straffheit von (B (n) )n∈N an:

Lemma 11.2.6. Sei (µn )n∈N eine Folge von Wahrscheinlichkeitsmaßen auf C0 ([0, 1]). Falls gilt:

1 n o
lim lim sup sup µn f ∈ C0 : sup |f (t) − f (s)| ≥ η = 0, η > 0, (11.2.5)
δ↓0 n→∞ t∈[0,1−δ] δ s∈[t,t+δ]

so ist (µn )n∈N straff.

Beweis. Wir machen uns zunächst klar, dass es genügt, für jedes ε, η > 0 ein δ > 0 und ein
n0 ∈ N zu finden mit
µn ({f : wδ (f ) > η}) ≤ ε, n ≥ n0 . (11.2.6)
Dies wenden wir nämlich für gegebenes ε > 0 und jedes k ∈ N an auf ε ersetzt durch ε2−k−1
und η ersetzt durch 1/k und erhalten ein δk > 0 und n0 (k) ∈ N mit µn ({f : wδk (f ) > 1/k}) ≤
ε2−k−1 für jedes n ≥ n0 (k). Da limδ↓0 wδ (f ) = 0 für jedes f gilt, kann man nach eventueller
Verkleinerung von δk davon ausgehen, dass die Ungleichung µn ({f : wδk (f ) > 1/k}) ≤ ε2−k−1
sogar für jedes n ∈ N gilt. Nach dem Satz 11.2.5 von Arzelà-Ascoli hat die Menge
\n 1o
K = Kε = f : wδk (f ) ≤
k
k∈N

kompakten Abschluss, und es gilt

c X n 1 o X −k−1
µn (K ) ≤ µn (K c ) ≤ µn f : wδk (f ) > ≤ ε2 ≤ε
k
k∈N k∈N

für alle n ∈ N. Also folgt die Straffheit von (µn )n∈N .

Seien also ε, η > 0 vorgegeben. Auf Grund der Voraussetzung in (11.2.5) haben wir ein
δ0 > 0 und ein n0 ∈ N mit
1 n η o ε
µn f ∈ C0 : sup |f (t) − f (s)| ≥ ≤ , n ≥ n0 , t ∈ [0, 1 − δ0 ].
δ0 s∈[t,t+δ0 ] 2 3

1
Sei m ∈ N minimal mit 1/m < δ0 . Wir setzen δ = 2m . Mit diesem δ und dem soeben gewählten
n0 zeigen wir nun, dass (11.2.6) erfüllt ist.
Für jedes f ∈ C0 mit wδ (f ) ≥ η gibt es t, s ∈ [0, 1] mit t < s und |f (t) − f (s)| ≥ η und
k k k 1
|t − s| < δ. Weiterhin existiert ein k ∈ N0 mit k ≤ 2m − 2 und 2m ≤ t < s ≤ 2m + 2δ = 2m +m .
k η k η
Dann ist |f (t)−f ( 2m )| ≥ 2 oder |f (s)−f ( 2m )| ≥ 2 . Aus diesen Überlegungen folgt die Inklusion

2m−2 k
[ n ηo
{f : wδ (f ) ≥ η} ⊂ f: sup f (s) − f ≥ .
k
s∈[ 2m k
, 2m 1
+m ] 2m 2
k=0
11.2. KONSTRUKTION DER BROWN’SCHEN BEWEGUNG 193

Also folgt für jedes n ≥ n0 :

ε ε
µn ({f : wδ (f ) ≥ η}) ≤ (2m − 1)δ0 ≤ (2 + δ0 ) ≤ ε.
3 3
Dies zeigt, dass (11.2.6) erfüllt ist, und beendet den Beweis.

Beweis von Satz 11.2.4. Wir müssen also nur das Kriterium in (11.2.5) für die Verteilungen
µn = P ◦ (B (n) )−1 der Polygonzüge B (n) verifizieren. Seien η, δ > 0 und t ∈ [0, 1 − δ]. Für unsere
Wahl von µn ist natürlich
n o
µn f ∈ C0 : sup |f (t) − f (s)| ≥ η =P sup |B (n) (t) − B (n) (s)| ≥ η .
s∈[t,t+δ] s∈[t,t+δ]

Wir möchten das Supremum in Termen der Irrfahrt ausdrücken und zeigen nun, dass gilt:
1 b3nδc η
P sup |B (n) (t) − B (n) (s)| ≥ η ≤ P √ max |Si | ≥ (11.2.7)
s∈[t,t+δ] n i=1 2

Da B (n) ein Polygonzug ist, ist für t, s ∈ n1 N0 und t < s einfach

1 (s−t)n
sup |B (n) (t) − B (n) (s)| = √ max |Sbntc+i − Sbntc |.
s∈[t,t+δ] n i=0
j−1 j
Im Allgemeinen gibt es j, k ∈ {0, . . . , n} mit k < j und nk ≤ t < k+1 n sowie n < t + δ ≤ n.
Dann gilt für jedes s ∈ [t, t + δ]:
k j−k
k + i k
|B (n) (t) − B (n) (s)| ≤ B (n) (t) − B (n) + max B (n) − B (n)
n i=1 n n
j−k
k + i k
≤ 2 max B (n) − B (n) .
i=1 n n
Also folgt
j−k
k + i k 2 j−k
sup |B (n) (t) − B (n) (s)| ≤ 2 max B (n) − B (n) = √ max |Sk+i − Sk |.
s∈[t,t+δ] i=1 n n n i=1

Wegen j − k − 2 ≤ nδ gilt j − k ≤ 3nδ für alle genügend großen n, also können wir die rechte
b3nδc √
Seite gegen 2 maxi=1 |Sk+i − Sk |/ n abschätzen. Die Verteilung dieser Zufallsgröße hängt aber
gar nicht von k ab. Also ist (11.2.7) bewiesen.
In (11.2.7) substituieren wir nun m = b3nδc, also müssen wir zum Beweis von (11.2.5) nur
noch zeigen:
1 m η √
lim lim sup P max |Si | ≥ √ m = 0, η > 0. (11.2.8)
δ↓0 δ m→∞ i=1 δ
Den Beweis von (11.2.8) werden wir auf eine Anwendung des Zentralen Grenzwertsatzes zurück
führen, indem wir zeigen:
m √ √ √
P max |Si | ≥ λ m ≤ 2P(|Sm | ≥ (λ − 2) m), m ∈ N, λ > 0. (11.2.9)
i=1

Tatsächlich folgt aus einer Anwendung von (11.2.9) und Satz 8.3.18 (es sei Φ die Verteilungs-
funktion der Standardnormalverteilung):
1 m η √ 2 |S |
m η √ 4 √ η
lim sup P max |Si | ≥ √ m ≤ lim sup P √ ≥ √ − 2 = Φ 2 − √ .
δ m→∞ i=1 δ δ m→∞ m δ δ δ
194 KAPITEL 11. IRRFAHRTEN UND DIE BROWNSCHE BEWEGUNG

Die rechte Seite verschwindet für δ ↓ 0, wie man leicht sieht. Also folgt (11.2.8) aus (11.2.9).
√
Nun beweisen wir (11.2.9).1 Wir dürfen λ > 2 voraussetzen. Die Ereignisse
j−1
\ √ √
Aj = {|Si | < λ m} ∩ {|Sj | ≥ λ m}, j = 1, . . . , m,
i=1
√ Sm
sind paarweise disjunkt mit A := {maxm
i=1 |Si | ≥ λ m} = j=1 Aj . Es gilt
√ √ √ √
P(A) = P A ∩ {|Sm | ≥ (λ − 2) m} + P A ∩ {|Sm | < (λ − 2) m}
m−1
√ √ X √ √
≤ P(|Sm | ≥ (λ − 2) m) + P Aj ∩ {|Sm | < (λ − 2) m} ,
j=1
√ √
da Am ∩ {|Sm | < (λ − 2) m} = ∅. Für j = 1, . . . , m − 1 gilt
√ √ √
Aj ∩ {|Sm | < (λ − 2) m} ⊂ Aj ∩ {|Sm − Sj | > 2m}.
√
Da die Ereignisse Aj und {|Sm − Sj | > 2m} unabhängig sind, folgt aus dem Obigen
m−1
√ √ X √
P(A) ≤ P(|Sm | ≥ (λ − 2) m) + P(Aj )P(|Sm − Sj | > 2m).
j=1

Wegen
m m
√ 1 h X 2 i 1 X 1
P(|Sm − Sj | > 2m) ≤ E Xk = E[Xk2 ] ≤
2m 2m 2
k=j+1 k=j+1

kann die rechte Seite weiter abgeschätzt werden durch

m−1
√ √ 1X √ √ 1
P(A) ≤ P(|Sm | ≥ (λ − 2) m) + P(Aj ) ≤ P(|Sm | ≥ (λ − 2) m) + P(A).
2 2
j=1

Daraus folgt (11.2.9), was den Beweis des Satzes 11.2.4 von Donsker beendet.
Wir wollen den Satz von Donsker anwenden, um exemplarisch die Verteilung zweier Funk-
tionale der Brown’schen Bewegung zu identifizieren. Dabei erhalten wir auch die asymptotische
Verteilung der entsprechenden Funktionale der zugrundeliegenden Irrfahrten. Wie immer sei Φ
die Verteilungsfunktion der Standardnormalverteilung.

Lemma 11.2.7 (Verteilung des Maximums). Sei Sn = X1 + · · · + Xn eine Irrfahrt auf R mit
unabhängigen, identisch verteilten standardisierten Schritten X1 , X2 , . . . . Dann gilt für jedes
x∈R
1 n
P max Bt ≤ x = lim P √ max Si ≤ x = max{2Φ(x) − 1, 0}. (11.2.10)
t∈[0,1] n→∞ n i=1

Beweis. Natürlich können wir x ≥ 0 voraussetzen. Wir betrachten h : C0 → R, definiert durch

h(f ) = maxt∈[0,1] f (t). Offensichtlich ist h stetig, und wir haben h(B) = maxt∈[0,1] Bt sowie
1
Man beachte, dass im Spezialfall der einfachen Irrfahrt (11.2.9) sehr leicht aus Satz 11.1.4 folgt.
11.2. KONSTRUKTION DER BROWN’SCHEN BEWEGUNG 195

√
h(B (n) ) = maxni=0 Si / n. Also ist die erste Gleichung in (11.2.10) eine direkte Folge aus dem
Donsker’schen Invarianzprinzip, zusamen mit dem Continuous mapping theorem, Satz 8.2.11.
Um die zweite zu zeigen, benutzen wir, dass wir ohne Einschränkung die Schrittverteilung
der Irrfahrt wählen dürfen, denn der Grenzwert hängt nicht davon ab. Also wählen wir die
einfache Irrfahrt, wo Xi die Werte 1 und −1 jeweils mit Wahrscheinlichkeit 21 annimmt. Hier
kommt uns Satz 11.1.4 zu Pass, nach dem gilt (man beachte, dass wegen Symmetrie h(B (n) ) in
√
Verteilung gleich −Mn / n ist):

X X
P(h(B (n) ) ≥ x) = P(Mn = −j) = Pn (Sn ∈ {j, j − 1})
√ √
j≥x n j≤−x n
√ √
= 2P(Sn > x n) + P(Sn = b−x nc).

Der letzte Term auf der rechten Seite ist (wenn er nicht sowieso schon Null ist) höchstens von der
√
Ordnung 1/ n, und der erste konvergiert nach dem Zentralen Grenzwertsatz gegen 2(1 − Φ(x)).
Daraus folgt die zweite Gleichung in (11.2.10) für die einfache Irrfahrt.
Die zweite Anwendung betrifft das Lebesguemaß der Menge der Zeitpunkte, die die Brown’-
sche Bewegung im Positiven verbringt:

Lemma 11.2.8 (Arcussinus-Gesetz für die Brownsche Bewegung). Sei Sn = X1 + · · · + Xn

eine Irrfahrt auf R mit unabhängigen, identisch verteilten standardisierten Schritten X1 , X2 , . . . .
Dann gilt für jedes x ∈ [0, 1]

n
1 X 2 √
P t ∈ [0, 1] : Bt ≥ 0 ≤ x = lim P 1l{Si ≥0} ≤ x = arcsin x. (11.2.11)
n→∞ n π
i=1

Beweis. Wir betrachten die Abbildung h : C0 → [0, 1], definiert durch h(f ) = |{t ∈ [0, 1] : f (t) ≥
0}|. Leider ist h nicht stetig, aber immerhin ist seine Unstetigkeitsmenge Uh eine Nullmenge,
wie wir gleich sehen werden.
Aber zunächst zeigen wir die Messbarkeit von h. Die Abbildung ψ : C0 × [0, 1] → R, definiert
durch ψ(f, t) = f (t), ist stetig, also BC0 ×[0,1] -B-messbar. Wie im Beweis von Lemma 8.2.9 beweist
man, dass BC0 ×[0,1] = BC0 ⊗ B[0,1] gilt. Sei A = {(f, t) : f (t) ≥ 0} = ψ −1 ([0, ∞)) ∈ BC0 ⊗ B[0,1] .
Wegen h(f ) = |{t ∈ [0, 1] : (f, t) ∈ A}| ist h messbar bezüglich BC0 .
Nun zeigen wir, dass Uh in {f : |{t ∈ [0, 1] : f (t) = 0}| > 0} enthalten ist. Sei f ∈ C0
mit |{t ∈ [0, 1] : f (t) = 0}| = 0, und sei (fn )n∈N eine Folge in C0 mit fn → f im Sinne der
Supremumsmetrik. Dann gilt 1l[0,∞) (fn (t)) → 1l[0,∞) (f (t)) für fast alle t ∈ [0, 1]. Nach dem Satz
von Lebesgue über majorisierte Konvergenz folgt
Z Z
lim h(fn ) = lim 1l[0,∞) (fn (t)) dt = 1l[0,∞) (f (t)) dt = h(f ).
n→∞ n→∞ [0,1] [0,1]

Also gilt {f : |{t ∈ [0, 1] : f (t) = 0}| > 0}c ⊂ Uhc .

Nun zeigen wir, dass {f : |{t ∈ [0, 1] : f (t) = 0}| > 0} eine Nullmenge bezüglich des Wiener-
Maßes µ = P ◦ B −1 ist. (Die Messbarkeit von |{t ∈ [0, 1] : f (t) = 0}| zeigt man wie oben.) Mit
196 KAPITEL 11. IRRFAHRTEN UND DIE BROWNSCHE BEWEGUNG

Hilfe des Satzes von Fubini sieht man

Z
|{t ∈ [0, 1] : f (t) = 0}| µ(df )
C0
Z Z Z Z
= 1lf (t)=0 dt µ(df ) = 1lf (t)=0 µ(df ) dt
C0 [0,1] [0,1] C0
Z Z
= µ({f : f (t) = 0}) dt = P(Bt = 0) dt.
[0,1] [0,1]

Die rechte Seite ist in der Tat Null, denn Bt hat ja eine Dichte für jedes t > 0. Also haben
wir gezeigt, dass die Zufallsgröße f 7→ |{t ∈ [0, 1] : f (t) = 0}| den Erwartungswert Null unter µ
besitzt. Da sie nichtnegativ ist, ist sie also gleich Null fast sicher, d. h., µ({f : |{t ∈ [0, 1] : f (t) =
0}| > 0}) = 0.
Das heißt, dass wir gezeigt haben, dass h µ-fast überall stetig ist. Also kann das Continuous
mapping theorem auf h angewendet werden. Nach Lemma 8.2.11(b) konvergiert h(B (n) ) also in
Verteilung gegen h(B) = |{t ∈ [0, 1] : Bt ≥ 0}|. Man sieht leicht, dass
n Z 1
1X 1
1l{Sdtne ≥0} dt = h n− 2 Sd· ne ,

1l{Si ≥0} =
n 0
i=1

und ein klein wenig Arbeit (Übungsaufgabe) ist nötig um einzusehen, dass die Differenz zwi-
schen diesem und h(B (n) ) in Wahrscheinlichkeit gegen Null konvergiert. Also haben wir die erste
Gleichung in (11.2.11). Für die einfache Irrfahrt folgt die zweite Gleichung aus Satz 11.1.8. Da
die Grenzverteilung nicht von der Schrittverteilung abhängt, ist das Lemma bewiesen.
Bibliographie

[Ba91] H. Bauer, Maß- und Integrationstheorie, 2. Auflage, Walter de Gruyter, Berlin–New

York, 1991.
[Ba02] H. Bauer, Wahrscheinlichkeitstheorie, 5. Auflage, Walter de Gruyter, Berlin–New York,
2002.
[Bi65] P. Billingsley, Ergodic Theory and Information, Wiley, New York 1965.
[Bi68] P. Billingsley, Convergence of probability measures, Wiley, New York 1968.
[Bi86] P. Billingsley, Probability and Measure, Wiley, New York, 1986.
[Ch78] K. L. Chung, Elementare Wahrscheinlichkeitstheorie und stochastische Prozesse,
Springer, Berlin, 1978.
[Ch67] K. L. Chung, Markov Chains with Stationary Transition Probabilities, Springer, Berlin
1967.
[Co80] D.L. Cohn, Measure Theory, Birkhäuser, Basel 1980.
[Du02] R.M. Dudley, Real Analysis and Probability, Vol. 74 of Cambridge Studies in Advanced
Mathematics. Cambridge University Press, Cambridge 2002, Revised preprint of the 1989
original.
[Fe68] W. Feller, An Introduction to Probability Theory and its Applications, Vol. I, 3rd ed.,
Wiley, New York, 1968.
[Ge02] H.-O. Georgii, Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik,
Walter de Gruyter, 2002.
[H02] O. Häggström, Finite Markov Chains and Algorithmic Applications, Cambridge Uni-
versity Press, 2002.
[Kl06] A. Klenke, Wahrscheinlichkeitstheorie, Springer, Berlin, 2006.
[Kr02] U. Krengel, Einführung in die Wahrscheinlichkeitstheorie und Statistik, 6. Auflage,
Vieweg, 2002.
[No97] J. Norris, Markov Chains, Cambridge University Press, 1997.
[Sch98] K. Schürger, Wahrscheinlichkeitstheorie, Oldenbourg, München, 1998.
[Se81] E. Seneta, Non-Negative Matrices and Markov Chains, Springer, New York, 1981.
[St94] D. Stirzaker, Elementary Probability, Cambridge University Press, Cambridge, 1994.

197
Index

Lp -Raum, 82 Beppo-Lévy, 85
Übergangsmatrix, 144 Bernoulli-Experiment, 16, 21
aperiodisch, 160 Bernoulli-Laplace-Diffusionsmodell, 148, 160
Übergangswahrscheinlichkeiten, 144 Bernoulli-Maß, 92
n-stufige, 146 Bernoulli-verteilte Zufallsgröße, 24
Bernoulli-Verteilung, 9, 31
Abbildung Bewegung
messbar, 73 Brown’sche, 190
numerisch, 74 Bienaymé, 33, 57, 96
absolutstetig, 80 Bildmaß, 80
Abweichungen Binomial-
Große, 57, 101 Verteilung, 10, 29, 33, 35, 37, 39, 47, 67
quadratische, 32, 33 negative, 35, 37
Algebra, 69 Binomialapproximation, 62
Sigma-, 63 Binomialkoeffizient, 7
Approximation Binomischer Lehrsatz, 10
Binomial-, 62 Birkhoffs Ergodensatz, 179
Normal-, 62 Borel-
Poisson-, 11 messbar, 73
Arcussinus-Gesetz, 188, 195 Sigmaalgebra, 65, 75, 80, 88, 122
Arcussinus-Verteilung, 188 Erzeugendensystem, 74
Arzelà-Ascoli, 191 Produkte, 125
Auswahlsatz Borel-Cantelli-Lemma
Helly’scher, 130 Erstes, 117
Axiome Zweites, 119
Kolmogorov’sche, 4 Brown’sche Bewegung, 190
Bayes’sche Formel, 14, 106 Carathéodory, 70, 171
bedingte Cauchy-Schwarz-Ungleichung, 33, 45, 84
Cauchy-Schwarz-Ungleichung, 108 bedingte, 108
Erwartung, 103 Cauchy-Verteilung, 50, 81
Hölder’sche Ungleichung, 113 Chapman-Kolmogorov-Gleichungen, 146
Jensen-Ungleichung, 107 charakteristische Funktion, 133
Markov-Ungleichung, 107 Continuous mapping theorem, 126
Verteilung, 169 Cramér-Wold, 141
reguläre Version, 110
bedingter Erwartungswert, 102, 181 de Moivre-Laplace, 61
Bedingungen Dichte, 41, 80
Lindeberg-Feller-, 141 einer Zufallsgröße, 42

199
200 INDEX

eines Wahrscheinlichkeitsmaßes, 42 mit Dichte, 45

gemeinsame, 43 Zufallsgröße, 28, 94
Lebesgue-, 80 erzeugende Funktion, 37
Produkt-, 44 Erzeugendensystem
Rand-, 44 Borel-Sigmaalgebra, 74
stetig, 73 durchschnittstabil, 88
Wahrscheinlichkeits-, 41 erzeugte Sigmaalgebra, 64, 73, 93
Zufallsgröße, 94 Euler’sche Produktformel, 18
Differenziationslemma, 87 Exponentialverteilung, 46, 47, 52, 81
Dirac-Maß, 66 Gedächtnislosigkeit, 46
diskretes Maß, 66
Donsker’sches Invarianzprinzip, 191 Faktorisierungslemma, 108
durchschnittstabil, 68 Faltung
Erzeugendensystem, 88 Folgen, 34
Dynkin-System, 68, 169 und Unabhängigkeit, 39
erzeugt, 68 von Dichten, 45
Wahrscheinlichkeitsmaß, 101
Ehrenfests Urnenmodell, 148, 163 Faltungseigenschaft, 101
Eindeutigkeitssatz, 70 der Normalverteilung, 49
eindimensionale Irrfahrt, 120 Faltungsgleichung, 47
eindimensionale Projektion, 165 Faltungshalbgruppe, 47
einfache Funktion, 75 Faltungssatz
einfache Irrfahrt, 62, 183 diskret, 34
Einschluss-Ausschlussprinzip, 6 mit Dichten, 45
Einzelwahrscheinlichkeit, 4 Familie
Elementarereignis, 4 trennende, 132, 136
endlichdimensionale Projektion, 166 fast überall, 78, 82
endlichdimensionale Verteilung, 166 fast sicher, 78
endliches Maß, 65 Fatou, 86
Entropie, 83 Filtrierung, 153
Ereignis, 4, 93 Fixpunktsatz, 60
Elementar-, 4 folgenkompakt
terminales, 98 schwach relativ, 128
unabhängig, 96 Folgenraum
Ereignisraum, 4 unendlicher, 89
Ergodensatz, 182 Formel
Birkhoffs, 179 Bayes’sche, 106
ergodisch Euler’sche Primzahl-, 18
Abbildung, 175 Euler’sche Produkt-, 18
Maß, 175 Multiplikations-, 15, 43
Erneuerungsgleichung, 150 Produkt-, 16
Ersteintrittszeit, 149, 153 Steiner’sche, 94
Erwartung Stirling’sche, 61, 135, 184
bedingte, 103 Stirling-, 136
Erwartungswert, 78 Sylvester’sche, 6
bedingter, 102, 181 Fourier-Transformierte, 133
Eigenschaften, 45 Fréchet-Shohat
INDEX 201

Satz von, 136 verallgemeinerte, 11

Fubini, 91, 170
Funktion Indikatorfunktion, 24, 75
charakteristische, 133 Indikatorvariable, 24
einfach, 75 Induktion
erzeugende, 37 maßtheoretische, 76
integrierbar, 77 induziertes Maß, 80
messbar, 73 Inhalt, 69
Momenten erzeugende, 84, 87, 136 Integral, 77
numerisch, 74 Lebesgue-, 78
Schnitt, 90 Riemann-, 78
funktionaler Grenzwertsatz, 191 integrierbar
gleichgradig, 120
Gamma-Funktion, 47 integrierbare Funktion, 77
Gamma-Verteilung, 47 invariant
Gauß’scher Prozess, 190 Maß, 174
Gaußverteilung, 48 Menge, 175
Geburtstagszwillinge, 8 Invarianzprinzip
Gedächtnislosigkeit, 22 Donsker’sches, 191
geometrische Ionescu Tulcea, 170
Verteilung, 10, 29, 32, 46, 67 irreduzibel, 149
Gedächtnislosigkeit, 22 Irrfahrt, 144
Zufallsgröße auf Zd , 147, 151, 159
unabhängig, 25 auf {0, . . . , N }, 148, 149, 156
Gesetz auf Gruppen, 147, 159, 162
Arcussinus-, 188, 195 eindimensionale, 62, 120, 147
Kolmogorov’sches 0-1-, 99, 176 einfach, 183
Gesetz der Großen Zahlen einfache, 62, 155, 156, 159
Schwaches, 57, 95 Maxima, 148
Starkes, 56, 118, 119, 155, 182 symmetrische, 147, 149, 155, 156, 159
gleichförmige Verteilung, 31, 46 Ising-Modell, 25
Gleichgewichtsverteilung, 156, 162
Existenz, 158 Jensen’sche Ungleichung, 82
gleichgradig gleichmäßig stetig, 139, 192 bedingte, 107
gleichgradig integrierbar, 120
und Straffheit, 129 Kern
Gleichverteilung, 4 Markov-, 109, 168
Grenzwertsatz Klassen
funktionaler, 191 rekurrente, 151
mehrdimensionaler Zentraler, 141 transiente, 151
Poisson’scher, 11, 138 Kolmogorov’sche Axiome, 4, 14
Zentraler, 49, 59, 128, 140 Kolmogorov’sches 0-1-Gesetz, 99, 176
Große Abweichungen, 57, 101 Kombinatorik, 6
konsistent, 167
Hölder’sche Ungleichung, 83 Konsistenz, 146
bedingte, 113 Konvergenz
Helly’scher Auswahlsatz, 130 Begriffe, 115
hypergeometrische Verteilung, 9 Beziehungen, 116, 121, 126
202 INDEX

fast sichere, 115 isoton, 66

im Mittel, 115 konzentriert, 66
in Wahrscheinlichkeit, 56, 95, 115 Lebesgue-, 66, 67, 73, 92
schwache, 59, 122 monoton, 66
stochastische, 115 Produkt-, 90, 169
Verteilungs-, 125 unendliches, 90
Konvergenzsatz reversibles, 162
Majorisierter, 86 sigma-additiv, 65
Monotoner, 85 sigma-endlich, 65
konzentriert, 66 sigma-subadditiv, 66
Kopplungsargument, 160 Stetigkeit, 66
Korrelationskoeffizient, 34 Verteilungsfunktion, 71
korreliert Wahrscheinlichkeits-, 65
positiv, 34 Wiener-, 190
Kovarianz, 96 Zähl-, 67
Eigenschaften, 45 Maß erhaltende Transformation, 174
Zufallsgröße, 32 Maßraum, 65
Kovarianzmatrix, 50, 96 vollständig, 71
maßtheoretische Induktion, 76
Laplace-Verteilung, 4
Majorisierter Konvergenzsatz, 86
Lebesgue, 86
Marginalverteilung, 26
Lebesgue-
Markov Chain Monte Carlo, 163
Dichte, 80
Markov-Ungleichung, 55
Integral, 78
bedingte, 107
Maß, 66, 67, 73, 92
Markoveigenschaft, 143
Lehrsatz, Binomischer, 10
starke, 154
Lemma
Markovkern, 109, 168
Borel-Cantelli-
Markovkette, 144
Erstes, 117
Charakterisierungen, 144
Zweites, 119
Existenz, 173
Differenziations-, 87
Konstruktion, 145
Faktorisierungs-, 108
nullrekurrent, 159
Fatou, 86
Pfad, 144
Stetigkeits-, 87
positiv rekurrent, 159
Lindeberg-Feller-Bedingungen, 141
rekurrent, 151
Lipschitz-stetig, 124, 132
stationäre, 175
Log-Normalverteilung, 136
transient, 151, 159
Maß, 65 Matrix
absolutstetig, 80 stochastische, 143
Bernoulli-, 92 Potenzen, 146
Bild-, 80 Menge
Dirac-, 66 abgeschlossen, 149
diskret, 66 der Unstetigkeitsstellen, 124, 126
endlich, 65 invariante, 175
ergodisch, 175 messbar, 63
induziert, 80 Potenz-, 3
invariantes, 156, 174 Schnitt, 90
INDEX 203

Zylinder-, 89 Faltungseigenschaft, 101

messbar Poissonapproximation, 11
Abbildung, 73 Polya, 141
Borel-, 73 Polyas Urnenschema, 148, 149
Funktion, 73 Portmanteau-Theorem, 124
Menge, 63 positiv korreliert, 34
Raum, 63 Potenzmenge, 3, 22, 63, 66, 67, 89
Metrik Prä-T -Ereignis, 154
Prohorov-, 122 Prämaß, 69
Metropolis-Algorithmus, 163 Prinzip
Minkowski-Ungleichung, 84 Spiegelungs-, 184
mischend, 176 Problem
schwach, 176 Momenten-, 135
Moivre-Laplace, 61, 128 Variations-, 131
Momenten erzeugende Funktion, 84, 87, 136 Produkt-Sigmaalgebra, 88
Momentenproblem, 135 Produkt-Sigmalgebra, 165
Monotoner Konvergenzsatz, 85 Produktdichte, 44
Multinomialapproximation, 12 Produktformel, 17
Multinomialkoeffizient, 12 Produktmaß, 90, 169
Multinomialverteilung, 11 unendliches, 90
Multiplikationsformel, 43 Produktraum, 88
diskret, 26
negative Binomial-Verteilung, 35, 37 und Unabhängigkeit, 97
Normalapproximation, 62 Produktwahrscheinlichkeitsraum, 19
Normalverteilung, 48, 81, 96 Prohorov, 129
charakteristische Funktion, 141 Prohorov-Metrik, 122
Faltungseigenschaft, 49, 101 Projektion, 88
Log-, 136 eindimensionale, 165
mehrdimensional, 49, 81, 96, 137 endlichdimensionale, 166
Standard-, 49, 81 Orthogonal-, 106
Nullmengen, 71 Prozess
numerisch Gauß’sch, 190
Abbildung, 74 Poisson-, 51
Funktion, 74 stationärer, 173
stochastischer, 165
Operator
Punktprozess
Shift-, 173, 178
Poisson’scher, 51
Orthogonalprojektion, 106
quadratische Abweichung, 32, 33
Periode, 160
Perkolation, 24, 99 Rückkehrzeit
Permutation erwartete, 158
zufällige, 6 Radon-Nikodym, 80, 104
Poisson’scher Grenzwertsatz, 11, 138 Rand
Poisson’scher Punktprozess, 51 absorbierend, 148, 149, 156
Poisson-Prozess, 51 reflektierend, 148
Poisson-Verteilung, 11, 30, 32, 36, 37, 40, 47, Randdichte, 44
67 random walk, 144
204 INDEX

Randverteilung, 26, 170 Schwach-*-Topologie, 122

Raum schwache Konvergenz, 59, 122
Lp -, 82 Verteilungsfunktionen, 127
messbar, 63 schwache Topologie, 122
reguläre Version, 169 Schwaches Gesetz der Großen Zahlen, 57, 95
bedingte Verteilung, 110 Shift-Operator, 173, 178
relativ folgenkompakt Siebformel, 6
schwach, 128 sigma-additiv, 65, 70, 169
Riemann’sche Zetafunktion, 18 sigma-endlich, 65
Riemann-Integral, 78 sigma-subadditiv, 66
Sigmaalgebra, 63
Satz, 61 Borel-, 65, 75, 80, 88, 122
Arzelà-Ascoli, 191 erzeugte, 64, 73, 93
Beppo-Lévy, 85 Produkt-, 88
Bienaymé, 33, 57, 96 Spur-, 65
Birkhoffs Ergoden-, 179 triviale, 99, 175
Carathéodory, 70, 171 Urbild-, 73
Cramér-Wold, 141 Spiegelungsprinzip, 184
Eindeutigkeits-, 70 Spur-Sigmaalgebra, 65
Ergoden-, 179, 182 stabile Verteilung, 142
Fixpunkt-, 60 Standardabweichung
Fréchet-Shohat, 136 mit Dichte, 45
Fubini, 44, 91, 170 Zufallsgröße, 30
Grenzwert- standardisiert, 60
funktionaler, 191 Standardnormalverteilung, 49, 81
Helly’scher, 130 charakteristische Funktion, 141
Ionescu Tulcea, 146, 170 mehrdimensionale, 49
Konvergenz- Starkes Gesetz der Großen Zahlen, 56, 118,
Majorisierter, 86 119, 182
Monotoner, 85 Startverteilung, 144
Lebesgue, 86 stationär
majorisierte Konvergenz, 86 Markovkette, 175
Moivre-Laplace, 128 stationärer Prozess, 173
Poisson’scher, 138 Steiner’sche Formel, 94
Polya, 141 stetig
Prohorov, 129 Dichte, 73
Radon-Nikodym, 80, 104 gleichgradig gleichmäßig, 139, 192
Stetigkeits-, 138 Lipschitz-, 124, 132
Tonelli, 91, 170 Stetigkeitslemma, 87
Transformations-, 81 Stetigkeitssatz, 138
Zentraler Grenzwert-, 59, 140 Stirling’sche Formel, 61, 135, 136, 184
Schnitt stochastischer Prozess, 165
Funktion, 90 Stoppzeit, 153
Menge, 90 Straffheit, 128, 139
schwach und gleichgradig integrierbar, 129
relativ folgenkompakt, 128 Sylvester’sche Formel, 6
schwach mischend, 176 System
INDEX 205

Dynkin-, 169 uniform integrabel, 120

unkorreliert, 96
terminales Ereignis, 98 Unstetigkeitsstellen
Theorem Menge der, 124
Portmanteau-, 124 Unstetigkeitsstellenmenge, 126
theorem
Urbild-Sigmaalgebra, 73
continuous mapping, 126
Tonelli, 91, 170 Varianz, 94
Topologie Eigenschaften, 45
Schwach-*-, 122 mit Dichte, 45
schwache, 122 Zufallsgröße, 30
Transformation Variationsproblem, 131
Maß erhaltende , 174 Version
Transformationssatz, 81 reguläre, 169
Transformierte Verteilung, 93
Fourier-, 133 Arcussinus-, 188
Transienz, 120 bedingte, 169
trennende Familie, 132, 136 reguläre Version, 110
triviale Sigmaalgebra, 99, 175 Bernoulli-, 9, 31
Tschebyscheff-Ungleichung, 56, 57 Binomial-, 10, 29, 33, 35, 37, 39, 47, 67
unabhängig negative, 35, 37
Ereignis, 96 Cauchy-, 50, 81
geometrische Zufallsgröße, 25 diskrete, 4
Zufallsgröße, 23, 100 einer Zufallsgröße, 94
Konstruktion, 100 endlichdimensionale, 166
unabhängige Zufallsgrößen Exponential-, 46, 81
Folge von, 172, 174, 175 Gamma-, 47
Unabhängigkeit Gauß-, 48
paarweise, 16 gemeinsame, 26
und Faltung, 39 geometrische, 10, 29, 32, 46, 67
und Produktraum, 97 Gedächtnislosigkeit, 22
von mehreren Ereignissen, 16 Gleich-, 4
von Zufallsgrößen, 44 gleichförmige, 31, 46
von zwei Ereignissen, 16 hypergeometrische, 9
Unabhängigkeit von Zukunft und Vergangen- verallgemeinerte, 11
heit, 145 Laplace-, 4
Ungleichung Log-Normal-, 136
Cauchy-Schwarz-, 33, 45, 84 Marginal-, 26
bedingte, 108 Multinomial-, 11
Hölder’sche, 83 Normal-, 48, 81, 96
bedingte, 113 mehrdimensional, 81, 96, 137
Jensen’sche, 82 Poisson-, 11, 30, 32, 36, 37, 40, 47, 67
bedingte, 107 Rand-, 26, 170
Markov-, 55 stabile, 142
bedingte, 107 Zufallsgröße, 22
Minkowski-, 84 Verteilungsfunktion, 41, 71
Tschebyscheff-, 56, 57 einer Zufallsgröße, 42
206 INDEX

eines Zufallsvektors, 43 Verteilung, 22, 94

gemeinsame, 43 Verteilungsfunktion, 94
schwache Konvergenz, 127 Zufallsgrößen
Zufallsgröße, 94 unabhängige
Verteilungskonvergenz, 125 Folge von, 172, 174, 175
verträglich, 167 unabhängige identisch verteilte, 147
Vitali-Beispiel, 67 Zufallsvariable
Vollständigkeit, 71 diskret, 21
Zufallsvektor, 93
Wahrscheinlichkeit, 93 Zustand, 144
bedingte, 14 erreichbar, 148
Einzel-, 4 nullrekurrenter, 158
Rechenregeln, 5, 43 positiv rekurrenter, 158
totale, 14 rekurrenter, 150
Wahrscheinlichkeitsdichte, 41 transienter, 150
Wahrscheinlichkeitsmaß, 65 Zustandsraum, 144
diskret, 4 Zylindermenge, 89
Faltung, 101
Wahrscheinlichkeitsraum, 65, 93
diskret, 4, 21
Produkt-, 19
Wartezeitparadox, 54
Wiener-Maß, 190

Zählmaß, 67
Zentraler Grenzwertsatz, 49, 59, 128, 140
mehrdimensionaler, 141
Ziehen
mit Zurücklegen, 6
ohne Zurücklegen, 6
Zufallsgröße, 93
Bernoulli-verteilt, 24
binomialverteilt, 22
diskret, 21, 55, 94
Erwartungswert, 28, 94
geometrisch verteilt, 22
geometrische
unabhängig, 25
hypergeometrisch verteilt, 22
Kovarianz, 32, 96
mit Dichte, 94
Standardabweichung, 30
standardisierte, 60
stetige, 55
unabhängig, 23, 100
Konstruktion, 100
unkorreliert, 96
Varianz, 30, 94

Das könnte Ihnen auch gefallen

wt-new
Noch keine Bewertungen
wt-new
157 Seiten
Stochastik
Noch keine Bewertungen
Stochastik
275 Seiten
WT Skript
Noch keine Bewertungen
WT Skript
139 Seiten
Doering - Stochastik
Noch keine Bewertungen
Doering - Stochastik
319 Seiten
Skript Einfuehrung in Die Stochastik Informatik
Noch keine Bewertungen
Skript Einfuehrung in Die Stochastik Informatik
158 Seiten
Wtheorie
Noch keine Bewertungen
Wtheorie
192 Seiten
Stochastik Skript
100% (1)
Stochastik Skript
168 Seiten
Skript
Noch keine Bewertungen
Skript
62 Seiten
Grundlagen Der Stochastik
100% (1)
Grundlagen Der Stochastik
165 Seiten
Wahrscheinlichkeitstheorie - Varadhan
Noch keine Bewertungen
Wahrscheinlichkeitstheorie - Varadhan
6 Seiten
Stochastische Modelle - Skript
Noch keine Bewertungen
Stochastische Modelle - Skript
171 Seiten
Vor Le Sungs Manu Skrip T
Noch keine Bewertungen
Vor Le Sungs Manu Skrip T
100 Seiten
Maß - Und Wahrscheinlichkeitstheorie
Noch keine Bewertungen
Maß - Und Wahrscheinlichkeitstheorie
101 Seiten
Skrip Tss 20
Noch keine Bewertungen
Skrip Tss 20
113 Seiten
Stochastische Elementare
Noch keine Bewertungen
Stochastische Elementare
89 Seiten
Stochastik Klausur
Noch keine Bewertungen
Stochastik Klausur
61 Seiten
Stochastische Phänomene
Noch keine Bewertungen
Stochastische Phänomene
114 Seiten
Skript SNT
Noch keine Bewertungen
Skript SNT
197 Seiten
Stochastik für Informatiker ISBN 9783540000617, 3540000615 Accessible DOCX Download
Noch keine Bewertungen
Stochastik für Informatiker ISBN 9783540000617, 3540000615 Accessible DOCX Download
14 Seiten
Dokumen - Pub Stochastik Einfhrung in Die Wahrscheinlichkeitstheorie Und Statistik 3 Berarb Und Erw Aufl Reprint 2012 9783110206777 9783110193497
Noch keine Bewertungen
Dokumen - Pub Stochastik Einfhrung in Die Wahrscheinlichkeitstheorie Und Statistik 3 Berarb Und Erw Aufl Reprint 2012 9783110206777 9783110193497
392 Seiten
Bildschirmfoto 2025-03-06 Um 20.08.20
Noch keine Bewertungen
Bildschirmfoto 2025-03-06 Um 20.08.20
43 Seiten
Formelsammlung 2024 2
Noch keine Bewertungen
Formelsammlung 2024 2
8 Seiten
Statistische Datenanalyse Grundlagen Und Methoden Für Physiker - 2nd Edition ISBN 9783662606445, 3662606445 No-Wait Download
Noch keine Bewertungen
Statistische Datenanalyse Grundlagen Und Methoden Für Physiker - 2nd Edition ISBN 9783662606445, 3662606445 No-Wait Download
15 Seiten
AAAAAAAAA05
Noch keine Bewertungen
AAAAAAAAA05
99 Seiten
Statistik Skript
Noch keine Bewertungen
Statistik Skript
95 Seiten
Statistik Und Wahrscheinlichkeit
Noch keine Bewertungen
Statistik Und Wahrscheinlichkeit
402 Seiten
Jondral / Wiesler Grundlagen Der Wahrscheinlichkeitsrechnung Und Stochastischer Prozesse Fur Ingenieure
Noch keine Bewertungen
Jondral / Wiesler Grundlagen Der Wahrscheinlichkeitsrechnung Und Stochastischer Prozesse Fur Ingenieure
233 Seiten
2 Wahrscheinlichkeitsräume
Noch keine Bewertungen
2 Wahrscheinlichkeitsräume
35 Seiten
Einführung in Die Statistik Mit R
100% (1)
Einführung in Die Statistik Mit R
544 Seiten
Wahrscheinlichkeitstheorie Einführung 6th Edition ISBN 9783486584356, 3486584359 Entire Book Download
100% (11)
Wahrscheinlichkeitstheorie Einführung 6th Edition ISBN 9783486584356, 3486584359 Entire Book Download
17 Seiten
Vorlesung16-Stochastik Einfuhrung
Noch keine Bewertungen
Vorlesung16-Stochastik Einfuhrung
14 Seiten
Stochastische Prozesse
Noch keine Bewertungen
Stochastische Prozesse
166 Seiten
Einführung in Die Statistik Mit R (Book)
Noch keine Bewertungen
Einführung in Die Statistik Mit R (Book)
558 Seiten
Arbeit - Wahrscheinlichkeiten
Noch keine Bewertungen
Arbeit - Wahrscheinlichkeiten
10 Seiten
Mathematik in Der Biologie
Noch keine Bewertungen
Mathematik in Der Biologie
161 Seiten
Stat220 6
Noch keine Bewertungen
Stat220 6
18 Seiten
Stochastik
Noch keine Bewertungen
Stochastik
52 Seiten
Skript - SystheoEins - 2023 Bildschirmfotobrkrkrlkdkdkeekekfnk Bildschirmfotobrkrkrlkdkdkeekekfnk Bildschirmfotobrkrkrlkdkdkeekekfnk
Noch keine Bewertungen
Skript - SystheoEins - 2023 Bildschirmfotobrkrkrlkdkdkeekekfnk Bildschirmfotobrkrkrlkdkdkeekekfnk Bildschirmfotobrkrkrlkdkdkeekekfnk
200 Seiten
Skript Wahrscheinlichkeitstheorie
Noch keine Bewertungen
Skript Wahrscheinlichkeitstheorie
443 Seiten
Einheit 4 - Zufallsvariablen
Noch keine Bewertungen
Einheit 4 - Zufallsvariablen
34 Seiten
Kurzskript
Noch keine Bewertungen
Kurzskript
24 Seiten
CG Handbuch
Noch keine Bewertungen
CG Handbuch
14 Seiten
Formelsammlung German
Noch keine Bewertungen
Formelsammlung German
4 Seiten
QA Kapitel 1 2 3 4 5
Noch keine Bewertungen
QA Kapitel 1 2 3 4 5
145 Seiten
Skript Wahrscheinlichkeit
Noch keine Bewertungen
Skript Wahrscheinlichkeit
80 Seiten
Skript Extremwerttheorie
Noch keine Bewertungen
Skript Extremwerttheorie
77 Seiten
Mathe
Noch keine Bewertungen
Mathe
4 Seiten
Statistik Einführung Für Wirtschafts Und Sozialwissenschaftler ISBN 9783540364757, 3540364757 Educational Ebook Download
100% (4)
Statistik Einführung Für Wirtschafts Und Sozialwissenschaftler ISBN 9783540364757, 3540364757 Educational Ebook Download
15 Seiten
VL6 7
Noch keine Bewertungen
VL6 7
24 Seiten
Stochastische Simulation Grundlagen, Algorithmen und Anwendungen ISBN 9783835102170, 3835102176 Best Quality Download
Noch keine Bewertungen
Stochastische Simulation Grundlagen, Algorithmen und Anwendungen ISBN 9783835102170, 3835102176 Best Quality Download
15 Seiten
Zusammenfassung Stochastische Prozesse 2
Noch keine Bewertungen
Zusammenfassung Stochastische Prozesse 2
89 Seiten
Kap 1
Noch keine Bewertungen
Kap 1
31 Seiten
4 Kombinatorik, Wahrscheinlichkeitsrechnung, Statistik
100% (1)
4 Kombinatorik, Wahrscheinlichkeitsrechnung, Statistik
291 Seiten
Stat220 3
Noch keine Bewertungen
Stat220 3
54 Seiten
Einführungindie Wahrscheinlichkeitsrechnung Stochas
Noch keine Bewertungen
Einführungindie Wahrscheinlichkeitsrechnung Stochas
62 Seiten
Statistik Script
Noch keine Bewertungen
Statistik Script
46 Seiten
Statistik Zusammenfassung
Noch keine Bewertungen
Statistik Zusammenfassung
10 Seiten
Der Poisson-Prozess
Noch keine Bewertungen
Der Poisson-Prozess
12 Seiten
Formelblatt V3105
Noch keine Bewertungen
Formelblatt V3105
4 Seiten
Leitfaden Für Die Außerordentliche Prüfung Mathe IV
Noch keine Bewertungen
Leitfaden Für Die Außerordentliche Prüfung Mathe IV
6 Seiten
Etude de Fonctions Irrationnelles - Exercice I2-03
Noch keine Bewertungen
Etude de Fonctions Irrationnelles - Exercice I2-03
3 Seiten
Rechenmethoden I - Blatt0
Noch keine Bewertungen
Rechenmethoden I - Blatt0
1 Seite
Konsolidierung 1 - Entwicklungstest
Noch keine Bewertungen
Konsolidierung 1 - Entwicklungstest
2 Seiten