Wahrscheinlichkeitstheorie für Physiker von Dr. Nagel

Vorlesungsskript: Wahrscheinlichkeitstheorie für Physiker von
Dr. Nagel
Simon Stützer
Letzte Änderung: 11. September 2008
Inhaltsverzeichnis
1 Wahrscheinlichkeitsräume
1.1 Wahrscheinlichkeitsraum als Grundmodell . . . . . . . . . . . . . . . . . . . . .
1.1.1 Wahrscheinlichkeitsraum: [Ω,€a, P ] . . . . . . . . . . . . . . . . . . . . .
1.1.2 Schritte zur Modellierung: Ω . . . . . . . . . . . . . . . . . . . . . . . .
1.1.3 Schritte zur Modellierung: €a . . . . . . . . . . . . . . . . . . . . . . . .
1.1.4 Schritte zur Modellierung: P . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Beschreibungsmöglichkeiten(Bestimmungsstücke) für Wahrscheinlichkeitsmaße .
1.2.1 Diskrete Wahrscheinlichkeitsräume . . . . . . . . . . . . . . . . . . . . .
1.2.2 Kontinuierliche Wahrscheinlichkeitsräume [R, R,P] . . . . . . . . . . . .
1.3 Einige spezielle Wahrscheinlichkeitsräume . . . . . . . . . . . . . . . . . . . . .
1.3.1 diskrete Gleichverteilung . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.2 ka Verteilungverteilung . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.3 Bernoulli-Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.4 würfeln mit nichtunterscheidbaren Würfeln . . . . . . . . . . . . . . . .
1.3.5 Physik: Maxwell-Boltzman, Fermi-Dirac, Bose-Einstein Verteilung . . .
1.3.6 geometrische Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.7 Poisson-Verteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.8 Gleichverteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.9 Normalverteilung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.10 Cauchy-Verteilung (Lorenz-Verteilung, Breit-Wiegner-Verteilung) . . . .
1.4 Bedingte Wahrscheinlichkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.4.1 Anschauliche Vorstellung: . . . . . . . . . . . . . . . . . . . . . . . . . .
1.4.2 Schritte zur Formalisierung . . . . . . . . . . . . . . . . . . . . . . . . .
1.5 stochastische Unabhängigkeit von Ereignissen . . . . . . . . . . . . . . . . . . .
1.5.1 Anschauliche Vorstellung . . . . . . . . . . . . . . . . . . . . . . . . . .
1.5.2 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.5.3 Beispliele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3
3
3
3
4
6
7
7
8
9
9
9
9
10
10
12
12
12
13
13
14
14
14
16
16
17
17
2 Zufällige Variablen, Zufallsgrößen, zufällige Vektoren
2.1 Zufällige Variablen: meßbare Abbildungen zwischen wahrscheinlichkeitsräumen
2.1.1 Formalisierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2 Zufallsgrößen: reellwertige zufällige Variablen . . . . . . . . . . . . . . . . . . .
2.3 Unabhängigkeit von Zufallsgrößen . . . . . . . . . . . . . . . . . . . . . . . . .
2.4 Diskrete Zufallsgrößen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.4.1 Formalisierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.4.2 Beispiele . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.5 Stetige Zufallsgrößen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.5.1 Formalisierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.5.2 Wichtige Spezialfälle . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.6 Zufällige Vektoren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.6.1 Formalisierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.6.2 Wichtige Spezialfälle . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
19
19
20
20
21
23
23
24
26
26
27
29
29
33
1
INHALTSVERZEICHNIS
2
3 Weitere Verteilungsgesetze von transformierten zufälligen Vektoren
3.1 Transformation von eindimensionalen Zufallsgrößen . . . . . . . . . . . .
3.2 Summe zweier Zufallsgrößen . . . . . . . . . . . . . . . . . . . . . . . . .
3.2.1 diskreter Fall . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2.2 stetiger Fall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.3 Produkt und Quotient zweier Zufallsgrößen . . . . . . . . . . . . . . . .
3.4 Injektive differenzierbare Transformationen von zufälligen Vektoren . . .
.
.
.
.
.
.
38
38
39
39
40
42
43
4 Erwartungswert, Varianz und Kovarianz
4.1 Vorbemerkung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2 Erwartungswert einer Zufallsgröße . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3 Varianz einer Zufallsgröße . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.4 Die Kovarianz zweier Zufallsgrößen / die Kovarianz-Matrix eines zufälligen Vektors
45
45
46
52
54
5 Ungleichungen und Grenzwertsätze
5.1 Einführung . . . . . . . . . . . . . . . . . . . .
5.1.1 Vorbetrachtung . . . . . . . . . . . . . .
5.2 Markovsche und Tschebyschersche Ungleichung
5.3 Gesetze der Großen Zahlen . . . . . . . . . . .
5.4 Der zentrale Grenzwertsatz . . . . . . . . . . .
57
57
57
58
59
61
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Kapitel 1
Wahrscheinlichkeitsräume
1.1
Wahrscheinlichkeitsraum als Grundmodell
1.1.1
Wahrscheinlichkeitsraum: [Ω,€a, P ]
• Ω ... nichtleere Menge der Elementarereignisse / nichtleere Menge der möglichen Beobachtungsereignisse
•
€a
⊆€p(Ω) ... Ereignisalgebra, σ-Algebra
•
€p
(Ω) ... Potenzmenge von Ω / Menge aller Teilmengen einschließlich Ω und ∅
• P:
1.1.2
€a
→ [0,1] ... Wahrscheinlichkeitsmaß
Schritte zur Modellierung: Ω
1. Ω ... hängt auch davon ab, was beobachtet wird
ω ... Ereignis/Beobachtung: ω ∈ Ω
Beispiele
(a) Einmaliger Münzwurf:
Ω = {0, 1}/(0...W appen, 1...Zahl)
(b) n-maliger Münzwurf mit Berücksichtigung der Reihenfolge:
Ω = {(a1 , ....an ) : ai ∈ {0, 1}, i = 1, ..., n}
= {0, 1} × {...} × ... × {0, 1} = {0, 1}n
|
{z
}
n mal
(c) n-maliger Münzwurf, Beobachtung Anzahl der ”1”:
Ω = {0, 1, 2, ..., n}
3
KAPITEL 1. WAHRSCHEINLICHKEITSRÄUME
4
(d) 4-maliges würfeln mit einem Würfel unter Berücksichtigung der Reihenfolge:
Ω = {(a1 , a2 , a3 , a4 ) : ai ∈ {1, ..., 6}, i = 1, ..., 4}
= {1, ..., 6}4
(e) gleichzeitiges würfeln mit 4 nichtunterscheidbaren Würfeln:
Ω = {(a1 , ..., a6 ) : ai ∈ {0, ..., 4}, i = 1, ..., 4,
6
X
ai = 4}
i=1
= {1, ..., 6}4
(f) Zustand eines Teilchens: 3 Orts- und 3 Impulskoordinaten:
Ω = R6
(g) Zustand einer Gesamtheit von N Teilchen:
Ω = R6
1.1.3
2.
N
bzw. R6N (Gamma − Raum)
Schritte zur Modellierung:
€a
... Menge von Ereignissen
Unter einem Ereignis versteht man eine Teilmenge von Ω
€a
Beispiele
zu (b) n-maliger Münzwurf, n ≥ 2 Ereignis: A ... Wurfergebnis des ersten und zweiten Wurfes stimmen überein
A = {(a1 , ..., an ) ∈ {0, 1}n : a1 = a2 }
[
= {0}2 × {0, 1}n−2 {1}2 × {0, 1}n−2
Ereignis B: B ... es fälllt mindestens einmal ”1”
B = {0, 1}n \ {0, ..., 0}
= {0, 1}n \ {0}n
zu (c) B ... es fällt mindestens einmal ”1”
B = {1, ..., n} = {0, 1, ..., n} \ {0}
Wiederholung
Wahrscheinlichkeitsraum... [Ω,€a, P ]
Ω ... Menge der möglichen Ereignisse
€a⊆€p(Ω), A ∈€a, A ... Ereignis
Beobachtung: ω ∈ Ω
KAPITEL 1. WAHRSCHEINLICHKEITSRÄUME
5
Sprechweisen
Für gegebene Ereignisse A, B, C ... sagt man:
• ”A ist eingetreten” ⇔ ω ∈ A
• ”A ist nicht eingetreten” ⇔ ω ∈ Ac
• ”A und B sind eingetreten” ⇔ ω ∈ A ∩ B
• ”A oder B sind eingetreten” ⇔ ω ∈ A ∪ B
• ”A ist eingetreten und B nicht” ⇔ ω ∈ A ∩ B c = A \ B
• ”wenigstens eines der Ereignisse A1 , A2 ,... ist eingetreten” ⇔ ω ∈
∞
[
Ai
i=1
• ”alle Ereignisse A1 , A2 ,... sind eingetreten” ⇔ ω ∈
∞
\
Ai
i=1
Außerdem gilt:
• Ω tritt stets ein, Ω heißt sicheres Ereignis
• ∅ tritt nie ein, ∅ heißt unmögliches Ereignis
Anforderungen an das Mengensystem
•
€a
als System von Ereignissen
⊆€p(Ω)
• interessierende Ereignisse sollen in
•
€a
€a
liegen (€a also nicht zu klein)
abgeschlossen gegenüber Komplementbildung und gegenüber abzählbar unendlicher
Vereinigungs- und Durchschnittsbildung
€a
• jedem Ereignis A∈€a soll eine Wahrscheinlichkeit P(A) zugeordnet werden könen, d.h.
€a muss als Definitionsbereich eines Wahrscheinlichkeitsmaßes geeignet sein. (!!! deshalb
kann nicht immmer €a=€p(Ω) gewählt werden)
Definition 1.1.1 (σ-Algebra) Es sei Ω eine nichtleere Menge. Das Mengensystem
heißt σ-Algebra über Ω, wenn gilt:
(a) Ω ∈€a
(b) A ∈€a ⇒ Ac ∈€a für alle A ⊆ Ω
(c) Für alle A1 , A2 , ... ∈€a ist auch
∞
[
Ai ∈€a
i=1
Folgerung 1.1.1 Wenn
€a
eine σ-Algebra über Ω ist, dann gilt:
(a) ∅ ∈€a
(b) für alle A1 , A2 , ... ∈€a ist auch ∩∞
i=1 Ai ∈€a
€a
⊆€p(Ω)
KAPITEL 1. WAHRSCHEINLICHKEITSRÄUME
6
Beweise:
(a) Aus Def inition1.1.1 (a) und (b) folgt ∅ = Ωc ∈
€a
(b) Seien A1 , A2 , ... ∈€a!. Dann folgt aus (b) und (c)
c
∞
∞
∞
\
\
[
c
Ai = ( Ai )
= ( Aci )c ∈ €a
i=1
i=1
i=1
(c) A1 , ..., An ∈ €a , ∅ = An+1 = An+2 = ...
n
∞
[
[
Ai =
Ai , Ω = An+1 = An+2 = ...
i=1
n
\
i=1
Ai = ∩∞
i=1 Ai ∈
€a
i=1
Beispiele
(a) Ω beliebig nichtleer Menge
€a= {∅, Ω} ist eine σ-Algebra über Ω
(b) Ω beliebig nichtleer
€a=€p(Ω) ist eine σ-Algebra über Ω
Wir verwenden hier immer folgende Standard-σ-Algebren:
i. Falls Ω endlich oder abzählbar undendlich ist: €a=€p(Ω)
ii. Falls Ω = R, €a... Borelsche σ-Algebra
€a=R=σ ({(a, b) : −∞ < a < b < ∞}) = σ ({(−∞, a] : a ∈ R})
Wobei für E⊆€p(Ω) : σ(E) ... kleinste σ-Algebra über Ω, die E enthält
σ(E)=∩γ, γ ist σ-Algebra über Ω, E⊆ γ
iii. Falls Ω = Rn
Borelsche σ-Algebra:
€a=Rn = σ ({(a1 , b1 ) × (a2 , b2 ) × ... × (an , bn ) : −∞ < ai < bi < ∞, i = 1, ..., n})
= σ ({(−∞, a1 ] × (−∞, a2 ] × ... × (−∞, an ] : (a1 , ..., an ) ∈ Rn })
1.1.4
Schritte zur Modellierung: P
3. Wahrscheinlichkeitsmaß P
anschauliche Vorstellung: ”Gesamtmasse 1” bzw. ”100%” ist auf Ω ”verteilt”
Definition 1.1.2 (Axiomensystem von Kolmogorov) Ein Wahrscheinlichkeitsraum ist ein
Tripel [Ω,€a,P ] wobei Ω eine nichtleere Menge, €a eine σ-Algebra über Ω ist und P:€a→ [0, 1] mit
1. P (Ω) = 1
2. Für die Folgen A1 , A2 , ... ∈€a mit Ai ∩ Aj = ∅, falls j 6= i gilt:
!
∞
∞
[
X
P
Ai =
P (Ai )
i=1
i=1
(σ-Additivität) Die Mengenfunktion P heißt Wahrscheinlichkeitsraumß
KAPITEL 1. WAHRSCHEINLICHKEITSRÄUME
7
Folgerung 1.1.2 Es sei [Ω,€a, P ] ein Wahrscheinlichkeitsraum, und es seine A, B, C... ⊂€a Ereignisse, dann gilt:
1. P (∅) = 0
2. ∀n ∈ N : Ai
T
n
[
Aj = ∅ für i 6= j ⇒ P
!
Ai
=
i=1
n
X
P (Ai )
i=1
3. P (Ac ) = 1 − P (A)
4. P (A ∪ B) = P (A) + P (B) − P (A ∩ B)
5. A ⊆ B ⇒ P (A) ≤ P (B) (Monotonie)
6. A ⊆ B ⇒ P (B \ A) = P (B) − P (A)
7. A1 ⊆ A2 ⊆ ... ⇒ P (
∞
[
i=1
Ai ) = lim P (Ai )
i→∞
8. A1 ⊇ A2 ⊇ ... ⇒ P (∩∞
i=1 Ai ) = lim P (Ai )
i→∞
9. P (
∞
S
i=1
1.2
Ai ) ≤
∞
X
P (Ai ) (σ-Subadditivität von P)
i=1
Beschreibungsmöglichkeiten(Bestimmungsstücke) für Wahrscheinlichkeitsmaße
P : €a → [0, 1]
Frage: Teilsystem E⊆€a suchen, dass möglichst klein und übersichtlich ist und für das gilt:
Falls für Wahrscheinlichkeitsmaße P1 , P2 gilt:
P1 (A) = P2 (A) für alle A ⊆E, dann P1 (A) = P2 (A) für alle A ⊆€a, d.h. P1 = P2
Betrachte nur die wichtigsten Standardfälle:
1.2.1
Diskrete Wahrscheinlichkeitsräume
Lemma 1.2.1 Es sei [Ω, €a, P ] ein Wahrscheinlichkeitsraum wobei Ω endlich oder abzählbatr unendlich und €a⊆€p(Ω). Ein Wahrscheinlichkeitsmaß ist durch die Werte P ({ω}), ω ∈ Ω, eindeutig
festgelegt.
Beweis
A ∈€p(Ω), damit
S A ⊆ Ω. → A ist endlich oder abzählbar unendlich
schreibe A = ω∈A {ω} für ω 6= ω 0 gilt {ω} ∩ {ω 0 } = ∅
Wegen der endlichen bzw. σ-Additivität von P gilt:
!
[
X
P (A) = P
{ω} =
P ({ω})
ω∈A
ω∈A
KAPITEL 1. WAHRSCHEINLICHKEITSRÄUME
8
Also: Formel für Wahrscheinlichkeitsmaße auf endlichen oder abzählbsr unendlichen Grundmengen.
X
P (A) =
P ({ω})
ω∈A
Andererseits:
Zu jeder Wahl von Werten P ({ω}), ω ∈ Ω, mit P ({ω}) ∈ [0, 1] und
P
P
({ω})
= 1 existiert ein Wahrscheinlichkietsmaß P auf [Ω,€p(Ω)]
ω∈A
1.2.2
Kontinuierliche Wahrscheinlichkeitsräume [R, R,P]
Lemma 1.2.2 Ein Wahrscheinlichkeitsmaß P auf [R, R] ist durch die Werte P ((−∞, x]), x ∈ R
eindeutig festgelegt.
Definition 1.2.1 (Verteilungsfunktion) Es sei [R, R, P ] ein Wahrscheinlichkeitsraum. Die
Funktion F : R → [0, 1] mit F (x) = P ((−∞, x]), x ∈ R heißt Verteilungsfunktion der Wahrscheinlichkeitsmaßes P.
Satz 1.2.1 (Charakterisierung von Verteilungsfunktionen )
1. Es sei [R, R, P ] ein Wahrscheinlichkeitsraum und F die Verteilungsfunktion von P. Dann
gilt:
(a) x1 < x2 → F1 (x) ≤ F2 (x), x1 , x2 ∈ R (Monotonie)
(b) ∀x ∈ R : lim F (x + h) = F (x) (rechtsseitige Stetigkeit)
h→0
(c) lim F (x) = 1, lim F (x) = 1
x→∞
x→−∞
2. Zu jeder Funktion F : R → [0, 1] mit den Eigenschaften (a),(b) und (c) existiert ein Wahrscheinlichkeitsmaß P auf [R, R], so dass F die Verteilungsfunktion von P ist.
Beweis
zu a Sei x1 < x2 → (−∞, x1 ] ⊆ (−∞, x2 ] daraus folgt mit Definition 1.1.1
F (x1 ) = P ((−∞, x1 ]) ≤ P ((−∞, x2 ] = F (x2 )
zu b Sei x ∈ R, (hn )n∈N ist h1 ≥ h2≥... , lim hn = 0
→ (−∞, x] =
∞
\
n→∞
(−∞, x + hn ] und es folgt
n=1
F (x) = P ((−∞, x]) = P (
∞
\
(−∞, x + hn ]) = lim P (−∞, x + hn ]) = lim F (x + hn )
n→∞
n=1
zu c Sei (xn )n∈N eine Folge mit x1 ≥ x2≥... und lim xn = 0
→
∞
[
n→∞
(∞, xn ] = R und es folgt
n=1
lim F (xn ) = lim P ((−∞, xn ]) = P (
n→∞
n→∞
andere Grenzwert analog
∞
[
(−∞, xn ]) = P (R) = 1
n=1
n→∞
KAPITEL 1. WAHRSCHEINLICHKEITSRÄUME
9
Definition 1.2.2 (Verteilungsdichte) Es sei [R, R, P ] ein Wahrscheinlichkeitsraum und F die
Verteilungsfunktion von P. Falls eine integrierbare Funktion f : R → [0, ∞) existiert, sodass.
Zx
f (t)dt für alle x ∈ R
F (x) =
−∞
R∞
dann heißt f Verteilungsdichte von P. Offenbar ist
f (t)dt = 1
−∞
Bemerkung
Nicht zu jeder Verteilung P auf [R, R] existiert eine Dichte. Aber: Zu jeder integrierbaren Funktion
R∞
f : R → [0, ∞) mit
f (t)dt = 1 existiert ein eindeutig bestimmtes Wahrscheinlichkeitsmaß P,
−∞
dass die Verteilungsdichte f besitzt.
1.3
Einige spezielle Wahrscheinlichkeitsräume
1.3.1
diskrete Gleichverteilung
1
[Ω, €p(Ω), P ], wobei Ω endlich und P ({ω}) = |Ω|
, |Ω| ... Anzahl der Elemente von Ω
P nennt man die diskrete Gleichverteilung auf Ω. (”klassische Definition der Wahrscheinlichkeit”)
Es folgt für beliebige A ⊆ Ω
X
X 1
|A|
=
P (A) =
P ({ω}) =
|Ω|
|Ω|
ω∈A
ω∈A
[Ω, €p(Ω), P ] ... Laplace’scher Raum der Ordnung
Spezialfälle
• Münzwurf
• Würfeln mit regulärem Würfel
• Lottoziehung
1.3.2
ka Verteilungverteilung
[{0, 1}, €p({0, 1}), P ] mit P ({1}) = 1 − P ({0}) = p
0 ≤ p ≤ 1, falls p = 21 Spezialfall von 1.
1.3.3
Bernoulli-Verteilung
n
[{0, 1} , €p({0, 1}n ), P ]
P ({(a1 , a2 , ..., an )}) = pk (1 − p)n−k für ai ∈ {0, 1},
n
X
ai = k, 0 ≤ p ≤ 1
i=1
Falls p = 21 Spezialfall von (1), Modell für das n-Gledrige Bernoulli-Schema
P ... Bernoulli-Vertielung
p ... ”Erfolgswahrscheinlichkeit”
KAPITEL 1. WAHRSCHEINLICHKEITSRÄUME
1.3.4
10
würfeln mit nichtunterscheidbaren Würfeln
[Ω,€a, P ] mit Ω = {(r1 , ..., rn ); ri ∈ N0 ,
n
X
ri = r}, r fest, n fest,
€a
=€p(Ω)
i=1
mögliche Vorstellung: - Würfeln mit nicht unterscheidbaren Würfeln
1.3.5
Physik: Maxwell-Boltzman, Fermi-Dirac, Bose-Einstein Verteilung
• r Teilchen
• für jedes Teilchen wird der Raum der möglichen Zustände diskretisiert in n (Mikro-)Zustände
(z.B. Energieniveaus)
• der Zustand des Gesamtsystems wird beschrieben durch ein n-Tupel (r1 , ..., rn ) der Besetzungszahlen der Zustände
Drei verschiedene Wahrscheinlichkeitmaße werden in der physikalischen Statistik betrachtet
1. Maxwell-Bolzmann Verteilung
PM B ({r1 , ..., rn }) =
r!
1
·
r
n r1 ! · ... · rn !
(spezielle Multinomialverteilung, Polynomialverteilung)
2. Fermi-Dirac Verteilung Voraussetzung: n ≥ r
( −1
n
, falls ri ∈ {0, 1}
r
PF D ({r1 , ..., rn }) =
0, sonst
3. Bose-Einstein Verteilung
PBE ({r1 , ..., rn }) =
−1
n+r−1
r
also die diskrete Gleichverteilung auf Ω
Beispiele:
MB-Verteilung: zur Modellierung von ”klassischen Teilchen, ohne Quanteneffekte” z.B. Molekülen
FD-Verteilung: zur Modellierung von Fermi-Gasen oder Ensembles von Fermiionen, halbzahliger Spin (Elektronen, Neutronen, protonen, Quarks)
BE-Verteilung: zur Modellierung von Bose-Gasen oder Ensembles vom Bosonen, ganzzahliger Spin
(Photonen, Kerne, Atome, Mesonen)
KAPITEL 1. WAHRSCHEINLICHKEITSRÄUME
11
Zahlenbeispiel:
n=3, r=2
ω∈Ω
(2, 0, 0)
(0, 2, 0)
(0, 0, 2)
(1, 1, 0)
(1, 0, 1)
(0, 1, 1)
PM B
1
9
1
9
1
9
2
9
2
9
2
9
PF D
0
0
0
1
3
1
3
1
3
PBE
1
6
1
6
1
6
1
6
1
6
1
6
zu a) Maxwell-Boltzmann ist offenbar keine diskrete Gleichverteilung
Vorstellung: Die r Teilchen werden nacheinander und unabhängig, d.h. ohne rücksicht auf
die Zustände der anderen Teilchen, den Zuständen zugeordnet, wobei der gewählte Zustand
jeweils gleichverteielt auf der menge {1, ..., n} ist.
Zur Betrachtung der wahrscheinlichkeit für das Auftreten einer Konfiguration (r1 , ..., rn ),
r Teilchen, wird durchnummeriert. Es gibt nr Möglichkeiten der Zuordnung der Teilchen
zu den Zuständen (Ω0 = {1, ..., n}r ). Man geht davon aus, dass alles diese Möglichkeiten
dieselbe Wahrscheinlichkeit besitzen. Nämlich n1r .
Anzahl der Möglichkeiten, die auf ein vorgegebenes Tupel (r1 , ..., rn ) führen.
(a1 , ..., an ) ∈ {1, ..., n}r 7→ (r1 , ..., rn ) ∈ Ω
Abbildung 1.1: Tupel addieren sich
Anzahl:
r
r − r1
r − r1 − r2
r − r1 − r2 − ... − rn−1
·
·
· ... ·
r1
r2
r3
rn
r!
(r − r1 )!
(r − r1 − r2 − ... − rn−1 )!
=
·
· ... ·
r1 !(r − e1 )! r2 !(r − r1 − r2 )!
rn · 0!
r!
=
r1 ! · ... · rn !
=
PM B ({r1 , ..., rn }) =
1
r!
·
r
n r1 ! · ... · rn !
zu b) Fermi-Dirac
Annahme: pro Zustand höchstens ein Teilchen (Pauli-Prinziep)
n
|{(r
| · | ... Anzahl
1 , ..., rn ) ∈ Ω : ri ∈ {0, 1}, i = 1, ..., n}| = r
n
k ... Anzahl der k-elementigen Teilmenge einer n-elementigen Menge ... 0 ≤ k ≤ n
”ziehen ohne Zurücklegen, ohen Brücksichtigung der Reihenfolge”
Fermi-Dirac Verteilung ist die diskrete Gleichverteilung auf der Teilmenge von Ω der ”zulässigen”
Konfigurationen
KAPITEL 1. WAHRSCHEINLICHKEITSRÄUME
12
zu c) Bose-einstein Verteilung ist Gleichverteilung auf Ω
Probe dafür, dass die Definition korrekt ist:
zur Bestimmung von Anzahl der Elemente von Ω=|Ω|
ˆ
Bijektion:
h : Ω → {(b1 , ..., bn+r−1 ) : bi ∈ {0, 1}, i = 1, ..., n + r − 1,
n+r−1
X
bi = 1}
i=1
mit h((r1 , ..., rn )) = (b1 , ..., bn+r−1 )
wobei
(
0, für i = r1 + 1oderi = r1 + r2 + 2 ... oderi = r1 + r2 + ... + rn−1 + n − 1
bi
1, sonst
Mit:
|Ω| = |{(h1 , ..., hn+r−1 ) : bi ∈ {0, 1},
n+r−1
X
bi = r}| =
i=1
1.3.6
n+r−1
n
geometrische Verteilung
[N0 , N, P ], N0 = {0, 1, 2, ...} Es sei 0 < p < 1 und k = 0, 1, 2...
P ({k}) = (1 − p)k · p
∞
X
1
)
p
k=0
P heißt geometrische Verteilung mit Parameter p.
(Nebenrechnung:
1.3.7
(1 − p)k =
Poisson-Verteilung
[N0 , N, Πλ ], λ > 0
Π({k}) =
λk −λ
·e
k!
∞
X
λk
= eλ )
k!
k=0
Πλ heißt Poisson-Verteilung mit Parameter λ > 0.
(Nebenrechnung:
1.3.8
Gleichverteilung
[R, R, U(a,b) ] mit −∞ < a < b < ∞
Wobei U(a,b) gegeben ist durch die Verteilungsdichte:
(
1
für t ∈ (a, b)
1
f (t) =
· 1(a,b) = b−a
b−a
0 sonst
Verteilungsfunktion:
Zx
F (x) =
−∞


0 für x ≤ a
f (t)dt = x−a
b−a für a ≤ x ≤ b


1 für x ≤ b
,x ∈ R
U(a,b) heißt stetige Gleichverteilung auf dem Intervall [a, b]. Für a < c < d < b gilt:
U(a,b) ((c, d)) = F (d) − F (c) =
d−c
b−a
KAPITEL 1. WAHRSCHEINLICHKEITSRÄUME
13
d.h. die Wahrscheinlichkeitsverteilung hängt nur von der Länge des Intervalls ab, nicht aber von
dessen Lage (Invarianz gegen Translation). Besonders wichtiger Spezialfall U(0,1) wird verwendet
bei Zufallsgeneratoren.
1.3.9
Normalverteilung
µ ... Mittelwert, σ 2 ... Varianz
[R, R, Nµ,σ2 ], µ ∈ R, σ 2 > 0
Nµ,σ2 gegeben durch Verteilungsdichte:
f (t) = √
−(t−µ)2
1
· e 2σ2
2πσ
Verteilungsfunktion:
1
F (x) = √
2πσ
Zx
e
−(t−µ)2
2σ 2
dt
−∞
Nµ,σ2 heißt Gaußverteilung (Normalverteilung mit Erwartungswert µ und Varianz σ 2 .
Abbildung 1.2: Verteilungsfunktion der Normalverteilung
1.3.10
Cauchy-Verteilung (Lorenz-Verteilung, Breit-Wiegner-Verteilung)
[R, R, P ] und P sei gegeben durch die Verteilungsdichte:
f (t) =
1 1
,t ∈ R
π t2 + 1
mit der Verteilungsfunktion:
1
1
arctan x + , x ∈ R
π
2
P heißt (Standard-) Cauchy-/Lorenz-/Bret-Wieger-Verteilung
F (x) =
KAPITEL 1. WAHRSCHEINLICHKEITSRÄUME
14
Frage:
Wie findet man bei der Modellierung eine geeignete Wahrscheinlichkeitsverteilung auf einem
Raum?
• quantitative Eigenschaften z.B.
– Symmetire (Münzwurf, Würfel) und auch andere Invarianzeigenschaften
– Unabhängigkeit (z.B. Bernoulli-Schema)
– ”Gedächtnislosigkeit” (Exponentialverteilung, Morkov-Eigenschaften)
• Grenzwertsätze:
– Zentraler Grenzwertsatz
– Poissonscher Grenzwertsatz
• Abbildung von Wahrscheinlichkeitsräumen (z.B. Maxwell-Boltzmann Verteilung)
Zusammenhänge zwischen Verteilungen z.B.
– Bernoulli-Verteilung → Binomialverteilung
– Poisson-Verteilung → Exponentialverteilung
• Statistische Methoden zur Prüfung von Modellannahmen (Schätzungen, Tests, insbesondere
Anpassungstests)
1.4
Bedingte Wahrscheinlichkeit
Algemeiner Wahrscheinlichkeitsraum [Ω, €a, P ] , Ereignisse A, B ∈ €a mit Wahrscheinlichkeit P (A), P (B)
1.4.1
Anschauliche Vorstellung:
Unter der Bedingung, dass bekannt ist, dass B eingetreten ist, ändert sich möglicher Weise die
Wahrscheinlichkeit für das Eintreten von A.
Beispiel:
Würfeln mit Würfel [{1, ..., 6}, €p({1, ..., 6}), P ], wobei P die diskrete Gleichverteilung {1, ..., 6}
ist.A = {2}, P (A) = 61 und B = {2, 4, 6}, P (B) = 12
Vorstellung: Wahrscheinlichkeit für A unter der Bedingung, dass B eingetreten ist.
|A ∩ B|
1
|A ∩ B| |Ω|
= =
·
|B|
3
|Ω|
|B|
oder Wahrscheinlichkeit für A unter der Bedingung, dass B nicht eingetreten ist.
|A ∩ B c |
0
= =0
|B|
3
1.4.2
Schritte zur Formalisierung
• ”... unter der Bedingung, dass B eingetreten ist”
→ B wird als Ereignis betrachtet, das mit Wahrscheinlichkeit 1 eintritt.
P (B|B) = 1; P (B c |B) = 0
• Ereignis A kann nur unter der Bedingung eintreten, dass A ∩ B eintritt.
KAPITEL 1. WAHRSCHEINLICHKEITSRÄUME
15
Definition 1.4.1 (bedingte Wahrscheinlichkeit) Es sei [Ω, €a, P ] ein Wahrscheinlichkeitsraum, A, B ∈ €a, und P (B) > 0. Die bedingte Wahrscheinlichkeit von A unter der Bedingung
B ist definiert durch:
P (A ∩ B)
P (A|B) =
P (B)
Es gilt: P (·|B) ist ein Wahrscheinlichkeitsmaß auf [Ω, €a] (P (·|B) : €a → [0, 1]).
Nachweis:
• P (Ω|B) =
P (Ω∩B)
P (B)
=
P (Ω)
P (B)
=1
• 0 ≤ P (A ∩ B) ≤ P (B) ≤ 1 =⇒ 0 ≤
P (A∩B)
P (B)
≤1
• Nachweis der σ-Additivität P (·|B): Es seien A1 , A2 , ... ∈ €a, Ai ∩ Aj = ∅ für i 6= j
P
∞
[
P
!
Ai |B
∞
[
Ai
!
∩B
i=1
=
∞
X
P (Ai ∩ B)
i=1
=
P (B)
Damit:
P
∞
[
i=1
=
∞
[
∞
X
!!
Ai ∩ B
i=1
P (B)
∞
X
P (Ai ∩ B)
i=1
!
Ai |B
P
=
P (B)
i=1
=
!
P (B)
=
∞
X
P (Ai |B)
i=1
P (Ai |B)
i=1
−→ Übergang zu einem neuen Wahrscheinlichkeitsraum [Ω, €a, P (·|B)]
Insbesondere gilt gür A1 , A2 ∈ €a, A1 ∩ A2 = ∅:
P (A1 ∪ A2 |B) = P (A1 |B) + P (A2 |B)
Wenn P (A) > 0, P (B) > 0 dann gilt:
P (A ∩ B) = P (A|B) · P (B) = P (B|A) · P (A)
−→ P (B|A) = P (A|B) ·
P (B)
P (A)
Satz 1.4.1 (totale Wahrscheinlichkeit/Bayessche Formel) Es sei [Ω, €a, P ] ein Wahrn
[
scheinlichkeitsraum und B1 , ..., Bn ∈ €a eine Partition (Zerlegung) von Ω (d.h.
Bi = Ω ,
i=1
Bi ∩ Bj = ∅, i 6= j) mit P (Bi > 0) für i = 1, ..., n. Dann gilt für alle A ∈ €a:
P (A) =
n
X
P (A|Bi ) · P (Bi )
Formel der totalen Wahrscheinlichkeit
i=1
und falls P (A) > 0 auch:
P (Bj |A) =
P (A|Bj ) · P (Bj )
P (A|Bj ) · P (Bj )
= Pn
, ∀j = 1, ..., n
P (A)
i=1 P (A|Bi ) · P (Bi )
Bayessche Formel
KAPITEL 1. WAHRSCHEINLICHKEITSRÄUME
16
Beweis:
Es sei B1 , ..., Bn ∈ €a eine Partition von Ω mit P (Bj > 0), i = 1, ..., n, dann gilt:
∞
∞
n
n
[
[
X
X
P (A) = P (A∩Ω) = P (A∩( Bi )) = P ( (A∩Bi )) =
P (A∩Bi ) =
P (A|Bi )·P (Bi )Beweis
i=1
i=1
i=1
i=1
für Bayessche Formel folgt aus obiger Formel(Seite 14).
Bemerkung:
• Aussage lässst sich analog formulieren für Zerlegung von Ω in abzählbar vielen B1 , B2 , ... ∈ €a
mit P (Bi ) > 0.
• in Zusammenhang mit der Bayesschen Formel werden P (Bj ) als a-priori Wahrscheinlichkeit,
P (Bj |A) als a-posteriori Wahrscheinlichkeit bezeichnet,
Seien [Ω, €a, P ] ein Wahrscheinlichkeitsraum, A1 , ..., An ∈ €a mit P (A1 ∩ ... ∩ An−1 ) > 0. Dann gilt:
P (A1 ∩ ... ∩ An ) = P (A1 ) · P (A2 |A1 ) · P (A3 |A2 ∩ A1 ) · ... · P (An |A1 ∩ ... ∩ An−1 )
Anwendung: Entnahme ohne zurücklegen, Bsp.: Urne mit 4 roten und 3 blauen Kugeln 4-malige
Entnahme ohne zurücklegen
Abbildung 1.3: Multiplikation der Wahrscheinlichkeit entlang eines Wahrscheinlichkeitbaums
1.5
stochastische Unabhängigkeit von Ereignissen
Wahrscheinlichkeitsraum [Ω, €a, P ] mit Ereignissen A, B ∈ €a
1.5.1
Anschauliche Vorstellung
A stochastishc unabhängig von B, wenn die Wahrscheinlichkeit für das Eintreten von A nicht
davon abhängt ob B eingetreten ist oder nicht! Information über das Eintreten von B ändert
nichts ander Wahrscheinlichkeitsaussage über A.
KAPITEL 1. WAHRSCHEINLICHKEITSRÄUME
17
Ansatz:
P (A) = P (A|B) = P (A|B c ), falls P (B) > 0 und P (B c ) > 0
→P (A) · P (B) = P (A ∩ B)
P (A) · P (B c ) = P (A ∩ B c )
Analoge Vorstellung:
B stochastisch unabhängig von A, wenn P (B) = P (B|A) = P (B|Ac ), falls P (A) > 0 und
P (Ac ) > 0
→P (A) · P (B) = P (A ∩ B)
P (Ac ) · P (B) = P (Ac ∩ B)
1.5.2
Definition
Definition 1.5.1 (stochastische Unabhängigkeit) Sei [Ω, €a, P ] ein Wahrscheinlichkeitsraum
1. Die Ereignisse A, B ∈ €a heißen stochastisch unabhängig wenn:
P (A ∩ B) = P (A) · P (B)
2. Die Ereignisse A1 , ..., An ∈
I ⊆ {1, ..., n}, I 6= ∅, gilt:
€a
heißen stochastisch vollständig unabhängig, wenn für alle
!
P
\
Ai
i∈I
=
Y
P (Ai )
i=I
Bemerkung:
• Begriffe ”unvereinbat” und ”unabhängig” nicht verwechseln, A, B unvereinbar ⇔ A∩B = ∅.
Unabhängigkeit von A und B hängt auch von P ab, z.B. können A, B in [Ω, €a, P1 ] abhängig
aber in[Ω, €a, P2 ] unabhängig sein.
• Bedingung in 2.) kann i.A. nicht reduziert werden, insbesondere muss aus Paarweise Unabhängigkeit nicht vollständige Unabhängigkeit folgen. Aus P (A1 ∩ ... ∩ An ) = P (A1 · ... ·
P (An )) muss auch nicht die vollständige Unabhängigkeit folgen.
1.5.3
Beispliele
1. [{1, ..., 6}, €p({1, ..., 6}), P ] P diskrete Gleichverteilung
A = {1, 2}, B = {2, 4, 6}, A ∩ B = {2}
P (A) = 31 , P (B) = 21 , P (A ∩ B) = 16
P (A) · P (B) =
1 1
1
· = = P (A ∩ B)
3 2
6
→ A, B stochastisch unabhängig
Merke: P (A) = 13 nun fällt gerade Zahl → P (A) = 31 , → P (A) ändert sich nicht.
KAPITEL 1. WAHRSCHEINLICHKEITSRÄUME
18
2. n-Gliedriges Bernoulli Schema, 0 ≤ p ≤ 1
[{0, 1}n , €p({0, 1}n ), P ] mit
n
P
P ({(a1 , ..., an )}) = p
ai
i=1
n−
· (1 − p)
n
P
ai
i=1
Speziell:
A ... beim 1. Versuch erscheint eine ”0”, B ... beim 2. Versuch erscheint eine ”1”
A = {0} × {0, 1}n−1 , B = {0, 1} × {1} × {0, 1}n−2 , A ∩ B = {0} × {1} × {0, 1}n−2
X
P (A) =
P ({(a1 , ..., an )}) =
n−1
X
X
pk · (1 − p)n−k =
= (1 − p) ·
k=0
n−1
X
k=0
k=0 (a1 ,...,an )∈A
n−1
X
X
P ({(a1 , ..., an )}) :
k=0 (a1 ,...,an )∈A
(a1 ,...,an )∈A
=
n−1
X
n
X
ai = k
i=1
n−1
· pk · (1 − p)n−k
k
n−1
· pk · (1 − p)n−1−k = (1 − p) · (p + 1 − p)n−1
k
= (1 − p)
→ P (A) · P (B) = P (A ∩ B) und damit A,B unabhängig!
Satz 1.5.1 (Bemerkungen zur unabhängigkeit) Es sei [Ω, €a, P ] ein Wahrscheinlichkeitsraum und A, B, A1 , ..., An ∈ . Dann gilt:
a) A und ∅ sind unabhängig
b) A und Ω sind unabhängig
c) Wenn A und B unabhängig sind, dann sind auch A und B c , Ac und B, Ac und B c unabhängig
d) Wenn A ∩ B = ∅ ⇔ A und B unvereinbart, dann gilt: A, B sind unabhängig ⇔ P (A) = 0
oder P (B) = 0
e) Wenn A1 , ..., An vollständig unabhängig sind, dann sind für m < n Am , ..., An
Kapitel 2
Zufällige Variablen, Zufallsgrößen,
zufällige Vektoren
2.1
Zufällige Variablen: meßbare Abbildungen zwischen wahrscheinlichkeitsräumen
[Ω, €a, P ] und [Ω0 , €a, P 0 ] mit Ω
g
+
Ω0
Abbildung 2.1: Abbildung zwischen Wahrscheinlichkeitsräumen
Beispiele:
• zweimaliges Würfeln (a1 , a2 ) −→vernachlässigen der Reihenfolge (r1 , ..., rn )
• zweimaliges Würfeln (a1 , a2 ) −→Summe der Augenzahlen a1 + a2
• Betrachtung der Bose-Einstein Verteilung
• Werfen eines Punktes auf eine Fläche: rechtwinklige Koordinaten (x, y) −→Polarkoordinaten(r, φ)
19
KAPITEL 2. ZUFÄLLIGE VARIABLEN, ZUFALLSGRÖSSEN, ZUFÄLLIGE VEKTOREN 20
2.1.1
Formalisierung
Sei g : Ω → Ω0
Ubildfunktion zu g: g −1 : €p(Ω0 ) → €p(Ω) mit g −1 (A0 ) = {ω ∈ Ω : g(ω) ∈ A0 } für A0 ⊆ Ω0
Definition 2.1.1 (zufällige Variable/ induziertes Wahrscheinichkeitsmaß) Gegeben seien ein Wahrscheinlichkeitsraum [Ω, €a, P ] und ein meßbarere Raum [Ω0 , €a, P 0 ].
a) Die Abbildung g : Ω → Ω0 heißt (€a,€a’) meßbar oder zufällige Variable, falls g −1 (A0 ) ∈ €a für
alle A0 ∈ €a’
b) Es sei eine (€a,€a’) meßbar Abbildung. Dann heißt das Wahrscheinlichkeitsmaß Pg auf [Ω, Ω0 ],
das gegeben ist durch:
Pg (A0 ) = P (g −1 (A0 )) = für alle A0 ∈ €a’
das durch g induzierte Wahrscheinlichkeitsmaß.
Besipiel
Summe der Augenzahl bei zweimaligem Würfeln
[{1, ..., 6}, €p({1, ..., 6}), P ] P diskrete Gleichverteilung
g((a1 , a2 )) = a1 + a2 ⇒ [{2, ..., 12}, €p({2, ..., 12}), Pg ]
Pg ({k}) = P ({{(a1,a2 )} ∈ {1, ..., 6}2 : a1 + a2 = k}), k ∈ {2, ..., 12} =
2.2
|{(a1 , a2 ) : a1 + a2 = k}|
36
Zufallsgrößen: reellwertige zufällige Variablen
[Ω, €a, P ] und [R, R, Px ] mit Ω
x
+
R
Motiv zur Behandlung von Zufallsgrößen
• Behandlung von Transformationen
• Erleichterung von Sprechweisen, übersichtliche Darstellung zur Formalisierung
Definition 2.2.1 (Zufallsgröße) Es sei [Ω, €a, P ] ein Wahrscheinlichkeitsraum
a) Eine Funktion X : Ω → R heißt reelle Zufallsgröße, wenn X −1 (B) ∈ €a für alle B ∈ R.
b) Das Wahrscheinlichkeitsgesetz der Zufallsgröße X ist das wahrscheinlichkeitsmaß auf [R, R],
dass gegeben ist durch
Px (B) = P (X −1 (B)), B ∈ R
c) Die Verteilungsfunktion der zufallsgröße X ist die Funktion: FX : R → [0, 1] mit
FX (x) = P (X ≤ x), x ∈ R
KAPITEL 2. ZUFÄLLIGE VARIABLEN, ZUFALLSGRÖSSEN, ZUFÄLLIGE VEKTOREN 21
Andere Schreibweisen:
FX (x) = P (X ≤ x)
= P (X ∈ (−∞, x])
= P ({ω ∈ Ω : X(ω) ≤ x})
= P ◦ X −1 ((−∞, x])
= Px ((−∞, x])
Wichtige Formeln:
Es sei X eine Zufallsgröße mit Verteilungsfunktion FX , a, b ∈ R, a < b
P (X ≤ a) = FX (a)
P (X > a) = 1 − FX (a)
P (a < X ≤ b) = FX (b) − FX (a)
P (X = a) = FX (a) − FX (a − 0)
2.3
Unabhängigkeit von Zufallsgrößen
Vorstellung:
Zwei Zufallsgrößen X,Y sollen unabhängig heißen, wenn alle Paare von Ergebnissen, die mit Hilfe
von X,Y formuliert werden können, voneinander unabhängig sind.
Definition 2.3.1 (Unabhängigkeit von Zufallsgrößen) Es seien X, Y, X1 , Y1 Zufallsgrößen
aus dem selben Wahrscheinlichkeitsraum [Ω, €a, P ].
a) Zwei Zufallsgrößen X,Y heißen unabhängig, wenn
∀B1 , B2 ∈ R : P (X ∈ B1 , Y ∈ B2 ) = P (X ∈ B1 ) · P (Y ∈ B2 )
b) Die Zufallsgrößen X1 , ..., Xn heißen vollständig unabhängig, wenn
∀B1 , ..., Bn ∈ R : P (X1 ∈ B1 , ..., Xn ∈ Bn ) = P (X1 ∈ B1 ) · ... · P (Xn ∈ Bn )
Folgerung 2.3.1 Wenn X1 , ..., Xn unabhängig sind und m < n, dann sind auch X1 , ..., Xm unabhängig
Beweis:
P (X1 ∈ B1 , ..., Xm ∈ Bm ) = P (X1 ∈ B1 , ..., Xm ∈ Bm , Xm+1 ∈ R, ..., Xn ∈ R)
= P (X1 ∈ B1 ) · ... · P (Xm ∈ Bm ) · P (Xm+1 ∈ R) · ... · P (Xn ∈ R)
|
{z
}
1
= P (X1 ∈ B1 ) · ... · P (Xm ∈ Bm )
KAPITEL 2. ZUFÄLLIGE VARIABLEN, ZUFALLSGRÖSSEN, ZUFÄLLIGE VEKTOREN 22
Satz 2.3.1 (Äquivalente Bedingungen für Zufallsgrößen) Es seien X1 , ..., Xn Zufallsgrößen (über dem selben Wahrscheinlichkeitsraum [Ω, €a, P ]). X1 , ..., Xn sind genau dann unabhängig, wenn:
∀x1 , ..., xn ∈ R : P (X1 ≤ x1 , ..., Xn ≤ xn ) = P (X1 ≤ x1 ) · ... · P (Xn ≤ xn )
Häufig vorkommende Formulierungen
X1 , ..., Xn i.i.d. (independent identically distributed) d.h unabhängig und identisch verteilt, d.h.
PX1 = PX2 = PX3 = ... = PXn
Beispiel:
n-gliedriges Bernoullischema
[{0, 1}n , €p({0, 1}n ), P ] mit
n
P
P ({(a1 , ..., an )}) = p
i=1
ai
· (1 − p)
n−
n
P
i=1
ai
, für a ∈ {0, 1}, 0 ≤ p ≤ 1
Definition 2.3.2 (Äquivalente Beschreibung des Bernoullischemas) Zufallsgrößen
X1 , ..., Xn mit Xi : {0, 1}n → {0, 1} mit Xi ((a1 , ..., an )) = ai , i = 1, ..., n
Xi ... Ergebnis des i-ten Versuchs, reelle Zufallsgröße
P (Xi = 1) = P (Xi−1 ({1})) = P ({(a1 , ..., an ) ∈ {0, 1}n : ai = 1})
X
=
P ({(a1 , ..., an )})
(a1 ,...,an )∈{0,1}n :ai =1
=
n−1
X
X
l=0 (a1 ,...,an )∈{0,1}n :
P ({(a1 , ..., an )})
P
aj =l
j6=i
=
n−1
X
l=0
n−1
· pl+1 (1 − p)n−l−1
l
= p · (p + 1 − p)n−1 = p
P (Xi = 0) = 1 − P (Xi = 1) = 1 − p
KAPITEL 2. ZUFÄLLIGE VARIABLEN, ZUFALLSGRÖSSEN, ZUFÄLLIGE VEKTOREN 23
Verteilungsfunktion: FXi : R → [0, 1]
Untersuchen Unabhängigkeit von X1 , ..., Xn
Seien B1 , ..., Bn ∈ R - setzen: Bi0 = Bi ∩ {0, 1}, i = 1, ..., n
P (X1 ∈ B1 , ..., Xn ∈ Bn ) = P (X1 ∈ B10 , ..., Xn ∈ Bn0 )
= P ({(a1 , ..., an ) : a1 ∈ B1 , ..., an ∈ Bn })
= P (B10 × B20 × ... × Bn0 )
X
=
P ({(a1 , ..., an )})
0 )
(a1 ,...,an )∈(B10 ×B20 ×...×Bn
X
=
...
a1 ∈B10
X
=
P ({(a1 , ..., an )})
0
an ∈Bn
...
a1 ∈B10
=(
X
X
X
[pa1 (1 − p)1−a1 ] · ... · [pan (1 − p)1−an ]
0
an ∈Bn
pa1 (1 − p)1−a1 ) · ... ·
a1 ∈B10
= P (X1 ∈
X
pan (1 − p)1−an )
0
an ∈Bn
B10 )
· ... · P (Xn ∈ Bn0 )
= P (X1 ∈ B1 ) · ... · P (Xn ∈ Bn )
⇒ X1 , ..., Xn sind vollständig unabhängig
Fazit:
Das n-gliedrige Bernoullischema kann auch beschrieben werden durch
X1 , ..., Xn i.i.d. mit P (Xi = 1) = 1 − P (Xi = 0) = p, i = 1, ..., n p ∈ [0, 1]
2.4
2.4.1
Diskrete Zufallsgrößen
Formalisierung
Definition 2.4.1 (diskrete Zufallsgröße) Eine Zufallsgröße heißt diskret, wenn es eine
höchstens abzählbare unendliche Menge WX⊂R gibt mit P (X ∈ WX ) = 1
Verteilungsfunktion einer diskreten Zufallsgröße
X, WX höchstens abzählbar unendlich FX : R → [0, 1], x ∈ R
FX (x) = P (X ≤ x) = P (X ∈ {xk ∈ WX : xk ≤ x})
[
= P(
{ω ∈ Ω, X(ω) = xk })
k:xk ≤x
=
X
P (X = xk )
xk ≤x
=
X
P (X = xk )1[xk ,∞] (x) → Fx isteineLinearkombination
xk ∈WX
Die Verteilungsfunktion und damit das Verteilungsgesetz von diskreten Zufallsgrößen ist also
KAPITEL 2. ZUFÄLLIGE VARIABLEN, ZUFALLSGRÖSSEN, ZUFÄLLIGE VEKTOREN 24
Abbildung 2.2: Verteilungsfunktion einer diskreten Zufallsgröße
gegeben durch {(xk , P (X = xk )) : xk∈WX }
Satz 2.4.1 (Unabhängigkeit) Es seien X;Y diskrete Zufallsgrößen, WX , WY höchstens
abzählbar unendlich und P (X ∈ WX ) = P (Y ∈ WY ) = 1. Die Zufallsgrößen sind genau dann
unabhängig, wenn gilt:
P (X = x, Y = y) = P (X = x) · P (Y = y) für alle x ∈ WX , y ∈ WY
2.4.2
Beispiele
[Ω, €a, P ] sei ein Wahrscheinlichkeitsraum
1. X : Ω → R
P (X = 1) = 1 − P (X = 0) = p , 0 ≤ p ≤ 1
z.B. Ω = {1, ..., 6}
(
X(k) =
1 fallsk = 6
0 sonst
2. X ... Anzahl der Erfolge bei n-gliedrigem Bernoullischema
Seiene X1 , ..., Xn i.i.d. mit P (Xi = 1) = 1 − P (Xi = 0) = p
n
P
X=
Xi , wähle WX = {0, ..., n} für k ∈ {0, ..., n}
i=1
P (X = k) = P (X −1 {k}) = P ({(a1 , ...an ) ∈ {0, 1}n :
n
X
ai = k})
i=1
=
n k
p (1 − p)n−k
k
Schreibweise
Bn,p ({k}) = nk P k (1 − p)n−k , k = 0, ..., n
X ∼ Bn,p bzw. PX = Bn,p ... Binomialverteilung mit Parameter n und p
KAPITEL 2. ZUFÄLLIGE VARIABLEN, ZUFALLSGRÖSSEN, ZUFÄLLIGE VEKTOREN 25
Satz 2.4.2 (Poisson’scher Grenzwertsatz) Es sein (pn )n∈N eine zahlenfolge mit 0 ≤ pn ≤ 1
und lim n · pn = λ < 0. Dann gilt für
n→∞
lim Bn,pn ({k}) =
n→∞
Y
({k}) für k = 0, 1, 2, ...
λ
n k
λk −λ
lim
pn (1 − p)n−k =
·e
n→∞ k
k!
Beweis:
für n ∈ N0
n · (n − 1) · ... · (n − k + 1) n · pn −k
n · pn n n k
1
(n · pn )k
1
−
lim
1
−
p (1 − p)n−k = lim
n→∞ k
n→∞ k!
nk
n
n
=
1 · λk
· 1| · 1 {z
· ... · 1} e · 1−k
k!
k−mal
Wichtige Anwendung für den Poisson’schen grenzwertsatz:
Falls n ”groß” und p ”klein” und
Q
λ = n · p gesetzt wird, dann kann Bn,p durch λ approximiert werden.
Bn,p ({k}) ≈
(n · p)k −n·p
·e
k!
Zusammenhang zu Satz 2.4.2:
Wenn X1 , ..., Xn i.i.d. mit P (Xi = 1) = 1 − P (Xi = 0) = p, n ”groß”, p ”klein”, dann ist
n
P
X=
Xi annährend Poissonverteilt mit Parameter λ = n · p
i=1
3. Beispiele:
• Tod durch Hufschlag in der Preußischen Armee
• Radioaktiver Zerfall
Vorstellung: große Anzahl n von Atomen, feste Zeitintervalle der Länge t
Annahme: Wahrscheinlichkeit, dass ein bestimmtes Teilchen im Zeitintervall zerfällt sei
p = const
→ vollständige Unabhängigkeit der Ereignisse: i-tes Teichchen zerfällt, i = 1, ..., n
Formalisierung:
X1 , ...,(Xn
0 ... i-tes Teilchen zerfällt
Xi =
1 ... i-tes Teilchen zerfällt nicht
X1 , ..., Xn i.i.d. mit P (Xi = 1) = 1 − P (Xi = 0) = p
n
P
X=
Xi ... Anzahl der zerfallenen Teilchen
i=1
Approximation der Binomialverteilung durch Poissonverteilung mit Parameter λ = n·p.
P (X = k) ≈
λk −λ
e , k = 0, 1, 2, ...
k!
KAPITEL 2. ZUFÄLLIGE VARIABLEN, ZUFALLSGRÖSSEN, ZUFÄLLIGE VEKTOREN 26
4. Sei X1 , ..., Xn eine Folge von i.i.d. Zufallsgrößen mit P (Xi = 1) = 1 − P (Xi = 0) = p ,
0 ≤ p ≤ 1 (unendliches Bernoullischema mit Erfolgswahrscheinlichkeit p)
Neu Zufallsgrößen:
X = min{n ∈ {0, 1, 2, ...} : Xn+1 = 1}
Für k ∈ {0, 1, 2, ...} = WX
P (X = k) = P (X1 = 0, X2 = 0, ..., Xn = 0, Xn+1 = 1)
= P (X1 = 0) · P (X2 = 0) · ... · P (Xn = 0) · P (Xn+1 = 1)
= (1 − p)k · p
Px ist die geometrische Verteilung mit Parameter P ∈ {0, 1}.
∞
P
P (X = k) = 1 folgt P (X = ∞) = 0
Da
k=0
Satz 2.4.3 (geometrische Verteilung) Es sei X geometrisch verteilt mit Parameter p ∈ {0, 1},
dann gilt für alle k, l ∈ {0, 1, 2, ...}
P (X = k + l|X ≥ k) = P (X = l)
Bemerkung:
Die geometrische Verteilung wird verwendet als Verteilung des Zustandes (des Frequenzniveaus
eines harmonischen Oszillators) im Gleichgewichtszustand.
2.5
2.5.1
Stetige Zufallsgrößen
Formalisierung
Definition 2.5.1 (stetige Zufallsgröße) Eine Zufallsgröße heißt stetige Zufallsgröße falls ihr
Verteilungsgesetz PX eine Verteilungsdichte fX besitzt, wobei eine integrierbare Funktion
fX : R → [0, ∞) existiert, sodass
Zx
P (X ≤ x) = FX (x) =
fX (t)dt für alle x ∈ R
−∞
Eigenschaften:
Sei X einie stetige Zufallsgröße und fX eine Verteilungsfunktion von X. Dann gilt:
Z∞
Zx
fX (t)dt = lim
−∞
x→∞
−∞
fX (t)dt = lim FX (x) = 1
x→∞
Für a < b: P (a < X < b) = PX ((a, b]) = FX (b) − FX (a) =
P (X = a) = PX ({a}) = FX (a) − lim FX (a − n1 ) = lim
n→∞
→ P (X = a) = 0 für alle x ∈ R
n→∞
Rb
fX (t)dt
a
Ra
1
a− n
fX (t)dt = 0
KAPITEL 2. ZUFÄLLIGE VARIABLEN, ZUFALLSGRÖSSEN, ZUFÄLLIGE VEKTOREN 27
Damit:
• Wenn B ⊆ R endlich oder abzählbar unendlich (z.B. Menge der rationalen Zahlen), dann
gilt P (x ∈ B) = 0
• FX hat keine Sprungstellen, ist also stetig
• für alle a < b gilt: P (a < X ≤ b) = P (a < X < b) = P (a ≤ X ≤ b) = P (a ≤ X < b)
Mit Hauptsatz der Differential- und Integralrechnung
• Die Zufallsgröße X besitzt genau dann eine stetige Verteilungsdichte fX , wenn ihre Verteilungsfunktion
stetig differenzierbar ist und falls X eine stetige Verteilungsdichte fX besitzt,
R
gilt: f (x)dt = FX
• Achtung: fx (t) ist keine Wahrscheinlichkeit!
Aber: Das Differential fX (t)dt kann als Wahrscheinlichkeit für x ∈ (t, t + dt) interpretiert
werden.
2.5.2
Wichtige Spezialfälle
1. Die Zufallsgröße X heißt gleichverteielt auf dem Intervall (a, b), a, b ∈ R, a < b, wenn das
Verteilungsgesetz von X: PX = U (a, b). Schreibweise: X ∼ U (a, b)
z.B. X ... zufällig aus (a,b) ausgewählter Punkt in der Ebene X ∼ [0, 2π), PX = U (a, b)
Satz 2.5.1 (Verteilungsfunktion) Es sei F : R → [0, 1] eine Funktion mit den Eigenschaften
(1),(2),(3) aus Satz 1.2.1 (d.h. F ist eine Verteilungsfunktion). Es sei X eine Zufallsgröße mit
X ∼ U (0, 1)
(a) Wenn F streng monoton und stetig ist, dann besitzt die Zufallsgröße Y = F −1 (x) die Verteilungsfunktion FX = F (wobei F −1 die inverse Funktion von F ist)
(b) Die Zufallsgröße Y = F −1 (x) = sup{x ∈ R : F (x) < X} besitzt die Verteilungsfunktion
Fy = F .
2. Die Zufallsgröße X heißt normalverteilt (gaußverteilt) mit Erwartungswert µ ∈ R und Varianz σ 2 > 0, wenn PX = Nµ,σ2 , X ∼ Nµ,σ2
Verteilungsdichte: fX (X) =
√1
2πσ
·e
−(x−µ)2
2σ 2
Nachweis, dass dies eine Dichte ist:
fX ≥ 0 klar!
√
R∞ −x2
R∞
e 2 dx = 2π,
−∞
1
Φ(x) = √
2π
−∞
Zx
e
−∞
−t2
2
√1 e
2πσ
−(x−µ)2
2σ 2
dx = 1 mit Substitution: t =
x−µ
σ
dt ... Verteilungsfunktion der Standardnormalverteilung (µ = 0, σ 2 = 1)
KAPITEL 2. ZUFÄLLIGE VARIABLEN, ZUFALLSGRÖSSEN, ZUFÄLLIGE VEKTOREN 28
Umrechnungsformel:
Sei X ∼ Nµ,σ2
Zx
FX (x) = P (X ≤ x) =
−∞
Zx
=
√
−(t−µ)2
1
t − µ dt
e 2σ2 dt Substitution: s =
,
=σ
σ
ds
2πσ
√
−s2
1
e 2 σds
2πσ
−∞
= Φ(
x−µ
)
σ
und für a < b:
a−µ
P (a < X < b) = FX (b) − FX (a) = Φ( b−µ
σ ) − Φ( σ )
Folgerung:
Wenn X ∼ Nµ,σ2 dann ist
X−µ
σ
∼ N0,1
Beweis:
Für x ∈ R gilt
X −µ
≤ x) = P (X ≤ σx + µ)
σ
σx + µ − µ
= FX (σx + µ) = Φ(
) = Φ(x)
σ
F X−µ (x) = P (
σ
3. Die Zufallsgröße X heißt exponentialverteilt mit Parameter λ > 0, wenn sie die folgende
Verteilungsdichte besitzt:
(
0 für x < 0
fX (x) =
λ · e−λx für x ≥ 0
Abbildung 2.3: Verteilungsdichte einer Exponentialverteilung
KAPITEL 2. ZUFÄLLIGE VARIABLEN, ZUFALLSGRÖSSEN, ZUFÄLLIGE VEKTOREN 29
Verteilungsfunktion:

0 falls x < 0
fX (t)dt =
λ · e−λt 1[0,∞] (t)dt = Rx
 λ · e−λt dt falls x ≥ 0
−∞
−∞
Rx
Rx
= (1 − e−λx ) · 1[0,∞] (x)
0
Schreibwesie: X ∼ Eλ
Abbildung 2.4: Verteilungsfunktion einer Exponentialverteilung
Satz 2.5.2 (nicht-alter Eigenschaft, Gedächtnislosigkeit) Sei X ∼ Eλ , λ > 0. Dann gilt
für alle reellen s, t > 0
P (X > s + t|X > s) = P (X > t)
Beweis:
P (X > s + t|X > s) =
=
P (X > s + t, X > s)
P (X > s + t)
=
P (X > s)
P (X > s)
1 − (1 − e−λ(s+t) )
= e−λt
1 − (1 − e−λ(s) )
= 1 − (1 − e−λt ) = P (X > t)
2.6
2.6.1
Zufällige Vektoren
Formalisierung
Definition 2.6.1 (zufälliger Vektor) Es sei [Ω, €a, P ] ein Wahrscheinlichkeitsraum und
X1 , ..., Xn reelle Zufallsgrößen über diesem Raum. Dann heißt der Vektor X = (X1 , ..., Xn )
zufälliger Vektor über [Ω, €a, P ] mit den Koordinaten X1 , ..., Xn
Schreibweise:
+ , i = 1, ..., n
[Ω, €a, P ] und [R, R, PXi ] mit Ω
Xi
R
n
+ n
[Ω, €a, P ] und [R , Rn , PX ] mit Ω
X
R
wobei X(ω) = (X1 (ω), ..., Xn (ω)), ω ∈ Ω
Rn = σ({(−∞, x1 ] × ... × (−∞, xn ] : xi ∈ R, i = 1, ..., n})
Für A ∈ Rn :
PX (A) = P ◦ X −1 (A) = P (X −1 (A)) = P (X ∈ A) = P ({ω ∈ Ω : X(ω) ∈ A})
KAPITEL 2. ZUFÄLLIGE VARIABLEN, ZUFALLSGRÖSSEN, ZUFÄLLIGE VEKTOREN 30
speziell für A = B1 × ... × Bn , Bi ∈ Ri
PX (B1 × ... × Bn ) = P (X1 ∈ B1 , ..., Xn ∈ Bn )
P ({ω ∈ Ω : X1 (ω) ∈ B1 , ..., Xn ∈ Bn }) = P
n
\
!
{ω ∈ Ω : Xi (ω) ∈ Bi }
i=1
heißt Verteilungsgesetz PX des zufälligen Vektors X / Verteilungsgesetz der Zufallsgrößen X1 , ..., Xn
Anwendung: bei Beobachtungen/ Messungen mehrerer Merkmale an einem Objekt (z.B. Druck,
Temperatur)
Definition 2.6.2 (Randverteilung) Es sei X = X1 , ...Xn ein zufälliger Vektor. Die Randverteilung (marginal Distribution) von PX sind die Verteilungsgesetze PXi der einzelnen Koordinaten.
Verallgemeinerter Randwert aus Wert von Vektoren
(Xi1 , ..., Xim ) mit 1 ≤ i ≤ ... ≤ im ≤ n, m < n.
Lemma 2.6.1 Alle Randverteilungen sind durch PX eindeutig bestimmt.
Beweis:
Sei i ∈ {1, ..., n}, B ∈ R. Dann gilt
PXi (B) = P (Xi ∈ B) = P (X1 ∈ R, ..., Xi−1 ∈ R, Xi ∈ B, Xi+1 ∈ R, ..., Xn ∈ R) = PX (Ri−1 ×B×Rn−i−1 )
Satz 2.6.1 (Eindeutigkeit der Randverteilung) Wenn X1 , ..., Xn unabhängige Zufallsgrößen sind, dann ist das Verteilungsgesetz PX des zufälligen Vektors X = (X1 , ..., Xn ) durch die
Randverteilung eindeutig bestimmt und es gilt für alle B1 , ..., Bn ∈ R:
PX (B1 × B2 × ... × Bn ) = PX1 (B1 ) · ... · PXn (Bn )
Beispiel
Y
Diskreter Vektor X={X,Y}
..
X
.
Y =0
Y =1
X=1
X=2
X=3
X=4
1
4
1
12
1
4
1
3
1
6
1
6
2
12
1
12
1
4
1
4
1
2
1
2
1
2
Allgemeiner:
Randverteilung eines zweidimensionalen diskreten Vektors X={X,Y}
Seien WX , WY endlich oder abzählbar unendlich mit P (X ∈ WX ) = 1, P (Y ∈ WY ) = 1
Bezeichnung: Pij = P (X = xi , Y = yj ) für xi ∈ WX , yj ∈ WY , Pi = P (X = xi ), Pj = P (Y = yj )
KAPITEL 2. ZUFÄLLIGE VARIABLEN, ZUFALLSGRÖSSEN, ZUFÄLLIGE VEKTOREN 31
Es gilt:
X
P (X = xi ) = P (X = xi , Y ∈ WY ) =
P (X = xi , Y = yj )
yj ∈WY
X
P (Y = yj ) = P (X = WX , Y = yj ) =
P (X = xi , Y = yj )
xi ∈WX
In Kurzform: Pi =
P
j
Pij , Pj =
P
Pij
i
Definition 2.6.3 (gemeinsame Verteilungsfunktion) Es sei X = (X1 , ..., Xn ) ein zufälliger
Vektor. Unter der gemeinsamen Verteilungsfunktion von X versteht man die Funktion FX : R →
[0, 1], die gegeben ist durch
FX (x1 , ..., xn ) = P (X1 ≤ x1 , ..., Xn ≤ xn ) mit (x1 , ..., xn ) ∈ R
Die Verteilungsfunktion FXi der Koordinaten Xi , i = 1, ..., n heißen Randverteilungsfunktion von
Xi .
Satz 2.6.2 (Gleichheit von Wahrscheinlichkeiten zufälliger Vektoren) Wenn X, Y ndimensionale zufällige Vektoren sind mit FX = FY ,
dann gilt PX = PY .
Bestimmung der Randverteilung aus gemeinsamer Verteilungsfunktion
FX1 = P (X1 ≤ x1 ) = P (X1 ≤ x1 , X2 ∈ R, ..., Xn ∈ R)
= lim , ..., lim P (X1 ≤ x, X2 ≤ x2 , ..., Xn ≤ xn )
x2 →∞
x2 →∞
Anwendung von Satz 2.4.1 liefert:
Es sei X = (X1 , ..., Xn ) ein zufälliger Vektor. Die Koordinaten X1 , ...Xn sind genau dann unabhängig, wenn
FX (x1 , ..., xn ) = FX1 (x1 ) · ... · FXn (xn )
für alle (x1 , ..., xn ) ∈ Rn
Spezielle Klasse: stetige zufällige Vektoren
Definition 2.6.4 (Dichtefunktion, Verteilungsdichte)
a) Eine Funktion f : Rn → [0, ∞) heißt Dichtefunktion auf R, wenn f integrierbar ist und
Z∞
Z∞
...
−∞
f (t1 , ..., tn )dt1 ...dtn = 1
−∞
b) Der zufällige Vektor X = (X1 , ..., Xn ) besitzt die gemeinsame Verteilungsdichte fX , wenn
fX eine Dichtefunktion ist und
Z∞
FX (x1 , ..., xn ) =
Z∞
...
−∞
−∞
fX (t1 , ..., tn )dt1 ...dtn
∀(x1 , ..., xn ) ∈ Rn
KAPITEL 2. ZUFÄLLIGE VARIABLEN, ZUFALLSGRÖSSEN, ZUFÄLLIGE VEKTOREN 32
Für A ∈ Rn :
Z∞
Z∞
PX (A) = P (X ∈ A) =
1[A] · fX (t1 , ..., tn )dt1 ...dtn
...
−∞
−∞
Folgerung 2.6.1 Wenn der zufällige Vektor X = (X1 , ..., Xn ) eine gemeinsame Verteilungsdichte
fX besitzt, dann besitzen auch alle Koordinaten Xi eine Verteilungsdichte fXi und es gilt
Z∞
fXi =
Z∞
fX (t1 , ..., ti−1 , ti , ti+1 , ...tn )dt1 ...dti−1 dti dti+1 ...dtn
...
−∞
|
−∞
{z
}
n−1Integrale
Beweis:
i = 1, x ∈ R
FX1 (x) = P (X1 ≤ x) = lim ... lim F (x, x2 , ..., xn )
x2 →∞
xn →∞
Zx Zx2 Zxn
= lim ... lim
x2 →∞
xn →∞
−∞ −∞
...
fX (t1 , ..., tn )dtn ...dt2 dt1
−∞



Zx 

 Z∞ Z∞


=
...
fX (t1 , ..., tn )dt2 ...dtn  dt1




−∞ −∞
−∞
{z
}
|
ist eine Verteilungsdichte von X1
Es gilt: Es sei X = (X1 , ..., Xn ) ein zufälliger Vektor mit der Randverteilungsdichte fXi der
Koordinaten Xi , i = 1, ..., n. X1 , ..., Xn sind genau dann unabhängig, wenn f : R → [0, ∞) mit
f (x1 , ..., xn ) =
n
Y
i=1
eine Verteilungsdichte von X ist.
fXi (xi )
KAPITEL 2. ZUFÄLLIGE VARIABLEN, ZUFALLSGRÖSSEN, ZUFÄLLIGE VEKTOREN 33
2.6.2
Wichtige Spezialfälle
1. Gleichverteielter Punkt auf achsenparallelem Rechteck
Sei Q = (a, b) × (c, d)|a, b, c, d ∈ R a < b, c < d und es sei X = (X1 , X2 ) rin zufälliger Vektor mit
gemeinsamer Verteilungsdichte.
Abbildung 2.5: Punkt auf Rechteck
1
· 1(a,b)×(c,d) (x1 , x2 )
(b − a) · (d − c)
1
1
· 1(a,b) (x1 )
· 1(c,d) (x2 )
=
(b − a)
(c − d)
fX (x1 , x2 ) =
Randdichte:
Z∞
fX1 (x1 ) =
Zd
fX (x1 , x2 )dx2 =
−∞
1(a,b) (x1 )
1
=
· 1(a,b) (x1 )
(b − a)(d − c)
b−a
c
Analog:
fX2 (x1 ) =
1
· 1(c,d) (x2 )
d−c
Also: fX = fX1 (x1 ) · fX2 (x2 ) für alle (x1 , x2 ) ∈ R2
Damit folgt X = (X1 , X2 ) ist genau dann gleichverteielt auf dem achsenparallelen Rechteck
Q = (a, b) × (c, d), wenn die kartesische Koordinaten unabhängig und jeweils gleichverteielt auf
(a,b) bzw. (c,d) sind.
KAPITEL 2. ZUFÄLLIGE VARIABLEN, ZUFALLSGRÖSSEN, ZUFÄLLIGE VEKTOREN 34
2. Gleichverteielter Punkt auf Kreis
Br = {(x1 , x2 ) ∈ R2 : x21 + x22 < r2 }, r > 0
Abbildung 2.6: Punkt auf Kreis
• kartesische Koordinaten
Sei X = (X1 , X2 ) ein zufälliger Vektor mit gemeinsamer Verteilungsdichte
fX (x1 , x2 ) =
1
· 1B (x1 , x2 )
πr2
Randdichte:
√2 2
r −x1
Z
Z∞
fX1 (x1 ) =
fX (x1 , x2 )dx2 =
−∞
1
· 1(−r,r) (x1 )
πr2
√
−
dx2 =
2
πr2
q
r2 − x21 · 1(−r,r) (x1 )
r 2 −x21
fX2 (x2 ) = fX1 (x1 ) (Rotationssymmetrie)
⇒ fX1 (x1 ) · fX2 (x2 ) ist keine Verteilungsdichte von X.
0 = P (x1 ∈ I1 , x2 ∈ I2 ) 6= P (x1 ∈ I1 ) · P (x2 ∈ I2 ) > 0 ⇒ nicht unabhängig
• Polarkoordinaten
Br = {(x1 , x2 ) ∈ R2 : x21 + x22 < r2 } = {(ρ cos α, ρ sin α) : 0 ≤ ρ ≤ 1, 0 ≤ α ≤ 2π}
X = (X1 , X2 ) sei gleichverteielt auf Br
Man hat [Ω, €a, P ], [R2 , R2 , PX1 ,X2 ] und[R2 , R2 , PX1 ,X2 ]
, 2
, 2 und 2
mit Ω
X = (X1 , X2 )
X = (R, ϕ)
R
R
R
KAPITEL 2. ZUFÄLLIGE VARIABLEN, ZUFALLSGRÖSSEN, ZUFÄLLIGE VEKTOREN 35
Gemeinsame Verteilungsfunktion des zufälligen Vektors (Rϕ) auf [0, ∞) × [0, 2π),
t ∈ [0, ∞), β ∈ [0, 2π):
F(R,ϕ) )(t, β) = P (R ≤ t, ϕ ≤ β) = P ((X1 , X2 ) ∈ (x1 , x2 ) ∈ R : R(x1 , x2 ) ≤ t, ϕ(x1 , x2 ) ≤ β )
{z
}
|
s(t,β)
Z∞ Z∞
f(X1 ,X2 ) (t1 , t2 ) · 1s(t,β) (t1 , t2 dt1 dt2 )
=
−∞ −∞
(
Substitution :
t1 = ρ cos α
t2 = ρ sin α
Z∞ Z2π
f(X1 ,X2 ) (ρ cos α, ρ sin α) · 1[0,t) (ρ) · 1[0,β) (α)ρdαdρ
=
0
0
Zt Zβ
=
0
f(X1 ,X2 ) (ρ cos α, ρ sin α)ρ dαdρ
0
Also Verteilungsdichte von (Rϕ):
fR,ϕ (ρ, α) = ρ · f(X1 ,X2 ) (ρ cos α, ρ sin α) · 1[0,∞) (ρ) · 1[0,2π) (α)
Hier speziell: f(X1 ,X2 ) (x1 , x2 ) =
1
πr 2
· 1Br (x1 , x2 )
2ρ
1
1
· 1[0,r) (ρ) · 1[0,2π) (α) = 2 1[0,r) (ρ) 1[0,2π) (α)
2
πr
r
2π
Damit: Polarkoordinaten (R, ϕ) eines auf Br gleichverteielten Punktes sind unabhängig und
ϕ ist gleichverteielt auf [0, 2π) und R besitzt die Verteilungsdichte fR (ρ) = 2ρ
r 2 1[0,r) (ρ).
fR,ϕ (ρ, α) = ρ
3. Zweidimensionale Normalverteilung
Vorbetrachtung: Seien X1 , X2 unabhängig , Xi ∼ N0,1 , i = 1, 2. Dann ist eine gemeinsame
Verteilungsdichte von X = (X1 , X2 )
fX = fX1 (x1 ) · fX2 (x2 ) =
2
−x2
1
1 +x2
·e 2
2π
Allgemeiner:X1 , X2 unabhängig, X1 ∼ Nµ1 ,σ12 und X2 ∼ Nµ2 ,σ22
fX
− 12
1
= fX1 (x1 ) · fX2 (x2 ) =
·
e
2π(σ12 σ22 )
„
(x1 −µ1 )2
2
σ1
+
(x2 −µ2 )2
2
σ2
«
Definition 2.6.5 (zweidimensionale Normalverteilung) Der zufällige Vektor X = (X1 , X2 )
ist zweidimensional normalverteielt mit Erwartungswert (µ1 , µ2 ), dem Vektor (σ12 , σ22 ) der Varianz
und dem Korrelationskoeffizient ρ ∈ (−1, 1), wenn er folgende Verteilungsdichte besitzt:
fX = fX1 (x1 ) · fX2 (x2 )
=
2πσ12 σ22
(x1 , x2 ) ∈ R2
1
p
1
1 − ρ2
· exp − p
2 1 − ρ2
(x1 − µ1 )2
(x1 − µ1 )(x2 − µ2 ) (x2 − µ1 )2
+ 2ρ
+
2
σ1
σ1 σ2
σ22
!
KAPITEL 2. ZUFÄLLIGE VARIABLEN, ZUFALLSGRÖSSEN, ZUFÄLLIGE VEKTOREN 36
Berechnung der Randdichte:
Vorbereitung: für a > 0, b ∈ R:
√
R∞ −a(x2 +bx)
p
ab2
e
dx = e 4 · πa mit Substitution: y = 2π(x + 2b )
−∞
Z∞
fX1 (x1 ) =
fX (x1 , x2 )dx2
Substitution: y2 =
−∞
x2 − µ2
σ2
Z∞
1
1
1
(x1 − µ1 )2
x1 − µ1
2
p
exp
=
exp −
−2ρ
y
+
y
dy2
2
2
2(1 − ρ2 )
σ12
2(1 − ρ2 )
σ2
2σ1 1 − ρ2
−∞
=√
1
e
2πσ1
(x −µ )2
− 1 21
2σ1
⇒ X1 ∼ Nµ1 ,σ12
analog: X2 ∼ Nµ2 ,σ22
Folgerung 2.6.2 Wenn X = (X1 , X2 ) eine 2-D Normalverteilung mit (µ1 , µ2 ), (σ12 , σ22 ), ρ besitzt,
dann sind X1 , X2 genau dann unabhängig, wenn ρ = 0.
Satz 2.6.3 (Polarkoordinaten eines Standardnormalverteielten Vektors)
Der Vektor X = (X1 , X2 ) besitze eine 2-D Normalverteilung. Für den Vektor (R; ϕ) seiner Polarkoordinaten gilt dann:
• R,ϕ sind unabhängig
• ϕistgleichverteieltauf [0, 2π)
• R besitzt die Verteilungsdichte fR (ρ) = ρe−
ρ2
2
1[0,∞) (ρ).
Beweis:
Aus Satz 2.6.3 und 2.6.2 folgt:
1 − ρ2
e 2 · 1[0,∞) (ρ)1[0,2π) (α)
2π
ρ2
1
=
1[0,2π) (α) ρ · e− 2 · 1[0,∞) (ρ)
{z
}
|2π {z
}|
f(R,ϕ) (ρ, α) = ρ
fR
fϕ
Anwendung dieses Satzes: Box-Müller-Verfahren zur Simulation von normalverteielten Zufallsgrößen.
4. n-dimensionale Normalverteilung
Definition 2.6.6 (n-dimensionale Normalverteilung) Der zufällige Vektor X = (X1 , ..., Xn )
besitzt eine reguläre n-dimensionale Normalverteilung mit Erwartungswert µ ∈ Rn mit regulärer
(n,n)-Matrix Σ, wenn er folgende Verteilungsdichte fX besitzt:
fX (x) =
(2π)
n
2
1
√
1
detΣ
T
· e− 2 (x−µ)
Σ−1 (x−µ)
x ∈ Rn
KAPITEL 2. ZUFÄLLIGE VARIABLEN, ZUFALLSGRÖSSEN, ZUFÄLLIGE VEKTOREN 37
Man kann zeigen:
• Alle Randverteilungen sind normalverteielt: Xi ∼ Nµi ,σi2 , µ = (µ1 , ..., µn )T , σi2 ... i-tes
Diagonalelement von Σ

 2
σ1 · · · 0

.. 
..
• X1 , ..., Xn sind stochastisch unabhängig ⇔ Σ =  ...
.
. 
0 · · · σn2
Für n=3, Aussage die auf MAXWELL zurück geht (Bezug zur Geschwindigkeit von Molekülen
eines idealen Gases im R3 , vgl. FISZ, S.193/194)
Satz 2.6.4 () Es sei X = (X1 , X2 , X3 ) ein zufälliger Vektor mit Verteilungsdichte fX und differenzierbare Randdichte. Wenn X1 , X2 , X3 stochastisch unabhängig sind und eine differenzierbare Funktion h : [0, ∞) → (0, ∞) existiert, sodass fX (x1 , x2 , x3 ) = h(x21 + x22 + x23 ) für alle
(x1 , x2 , x3 ) ∈ R3 , dann besitzt X eine dreidimensionale Normalverteilung.
Beweis:
Wegen Unabhängigkeit kann gesetzt werden
fX (x1 , x2 , x3 ) = fX1 (x1 ) · fX2 (x2 ) · fX3 (x3 ) = h(x21 + x22 + x23 )
3
P
→ ln h(x21 + x22 + x23 ) =
fXi (xi ) Ableiten liefert
i=1
0
fX
(xi )
h0 (x21 +x22 +x23 )
i
2 h(x2 +x2 +x2 ) · xi = fX (xi ) für i = 1, 2, 3
1
2
3
i
0
0
fX
(x1 )
f 0 (x2 )
fX
(x3 )
h0 (kxk)
1
2
3
2 h(kxk) = x1 fX (x1 ) = x2X
=
fX2 (x2 )
x3 fX3 (x3 ) = a = const
1
1
→ fXi (xi ) = c · e 2 axi , i = 1, 2, 3, a < 0, setzte a = − σ12 , σ
→c=
√1
2πσ
und damit fXi (xi ) =
√1
2πσ
>0
x2
− 2σi2
·e
h(x21 + x22 + x23 ) = fX (x1 , x2 , x3 ) =
1
(2π)
3
2
1
σ3
2
2
2
· e− 2σ2 (x1 +x2 +x3 )
Satz 2.6.5 (Bedingung für Normalverteieltheit)
Es seien X = (X1 , X2 ), Y = (Y1 , Y2 ) zufällige Vektoren und A = aij eine reguläre (2,2)-Matrix
mit aij 6= 0 für alle i,j. Wenn X1 , X2 unabhängig und X T = A · Y T und Y1 , Y2 unabhängig sind,
dann sind X1 , X2 , Y1 , Y2 normalverteielt.
Folgerung 2.6.3 Falls X1 , X2 unabhängig sind und wenigstens ein Winkel α 6= k · π2 ,
k = 1, 2, 3, ... existiert, sodass der zufällige Vektor Y = (Y1 , Y2 ), der durch Drehung von X =
(X1 , X2 ) um α entsteht, unabhängige Koordinaten besitzt, dann sind X1 , X2 , Y1 , Y2 normalverteielt.
Beweis:
Setze in 2.6.5: A =
cos α
− sin α
sin α
cos α
Kapitel 3
Weitere Verteilungsgesetze von
transformierten zufälligen
Vektoren
3.1
Transformation von eindimensionalen Zufallsgrößen
Sei X eine reelle Zufallsgröße und g : R → R eine (meßbare) Funktion, dann ist g(X) eine Zufallsgröß.
*
[Ω, €a, P ] und [R, R, PX ] mit Ω
R
+
[R, R, PX ] und [R, R, Pg(X) ] mit Ω
g(x9
R
Bereits betrachtet:
• F (x)−1 für X ∼ U (0, 1)
•
X−µ
σ
für X ∼ Nµ,σ2
• logarithmische Normalverteilung
Prinzip zur Berechnung von Verteilungsfunktion von g(X):
Für x ∈ R:
Fg(X) (X) = P (X ≤ x) = P (g(X) ∈ (−∞, x]) = P (X ∈ g −1 (−∞, x])
falls g −1 ((−∞, x]) als Vereinigung von Intervallen darstellbar ist, dann kann Fg(X) durch FX
dargestellt werden.
Falls eine Darstellung gefunden werden kann mit:
Zx
h(t)dt für alle x ∈ R
Fg(X) (x) =
−∞
dann besitzt g(X) die Verteilungsdichte h.
38
KAPITEL 3. WEITERE VERTEILUNGSGESETZE VON TRANSFORMIERTEN ZUFÄLLIGEN VEKTOREN39
3.2
Summe zweier Zufallsgrößen
X = (X1 , X2 ), g(X) = X1 + X2
3.2.1
diskreter Fall
Es seien W1 , W2 höchstens abzählbar unendliche Mengen P (X1 ∈ W1 ) = P (X2 ∈ W2 ) = 1. Dann
ist X1 + X2 wieder diskret mit P (X1 + X2 ∈ WS ) = 1 mit WS = {X1 + X2 : x1 ∈ W1 , x2 ∈ W2 }.
Für s ∈ WS :
P (X1 + X2 = s) =
X
X
1{s} (x1 + x2 )P (X1 = x1 , X2 = x2 )
x1 ∈W1 x2 ∈W2
=
X
P (X1 = x1 , X2 = s − x1 )
x1 ∈W1
=
X
P (X1 = x1 ) · P (X2 = s − x1 |X1 = x1 )
x1 ∈W1
P (X1 = x1 ) > 0
Daraus folgt speziell:
Satz 3.2.1 (Summe zweier diskreter Zufallsgrößen) Es seien X1 , X2 unabhängige diskrete
Zufallsgrößen, dann gilt:
X
P (X1 + X2 = s) =
P (X1 = x1 ) · P (X2 = s − x1 ) für alle s ∈ R
x1 ∈W1
Beispiel:
Q
Q
X1 ∼ λ1 , X2 ∼ λ2 und λ1 , λ2 > 0
Voraussetzung: X1 , X2 unabhängig W1 = W2 = N0 = {0, 1, 2, ...}
Für s ∈ N0 :
P (X1 + X2 = s) =
∞
X
P (X1 = k) · P (X2 = s − k)
k=0
s
X
λk1 −λ1
λ2s−k
·e
·
· e−λ2
k!
(s − k)!
k=0
s 1 X s k (s−k)
λ λ
= e−(λ1 +λ2 )
s!
k 1 2
=
k=0
s
=
⇒ X1 + X1 ∼
Q
λ1 +λ2
(λ1 + λ2 )
· e−(λ1 +λ2 )
s!
KAPITEL 3. WEITERE VERTEILUNGSGESETZE VON TRANSFORMIERTEN ZUFÄLLIGEN VEKTOREN40
3.2.2
stetiger Fall
Sei X = (X1 , X2 ) ein stetiger zufälliger Vektor mit Verteilungsdichte
Z∞ Z∞
FX1 +X2 (x) = P (X1 + X2 ≤ x) =
1[−∞,x] (t1 + t2 )fX (t1 , t2 )dt2 dt1
−∞ −∞
Substitution: s = t1 + t2
Z∞ Z∞
=
1[−∞,x] (s)fX (t1 , s − t2 )dsdt1
−∞ −∞
Zx
=

Z∞
fX (t1 , s − t2 )dt1  ds

−∞

−∞
X1 + X2 besitzt die Verteilungsdichte:
Z∞
fX (t1 , s − t2 )dt1 für s ∈ R
fX1 +X2 (s) =
−∞
Satz 3.2.2 (Summe zweier stetiger Zufallsgrößen)
Es seien X1 , X2 unabhängige, stetige Vektoren mit Verteilungsdichte fX1 , fX2 . Dann besitzt die
Summe X1 + X2 die Verteilungsdichte:
Z∞
fX1 (t) · fX2 (s − t)dt für s ∈ R
fX1 +X2 (s) =
−∞
Beispiel:
X1 ∼ Nµ1 ,σ12 , X2 ∼ Nµ2 ,σ22 und X1 , X2 sind unabhängig
Sei µ = µ1 + µ2 und σ 2 = σ12 + σ22
Für s ∈ R:
1
fX1 +X2 (s) =
2πσ1 σ2
Z∞
e
−
t−µ1
2
2σ1
·e
−
t−µ2
2
2σ2
dt Substitution: u = t − µ1
−∞
2
Z∞
σ2
σ12 (s − µ)
exp − 2 2 u · (u − 2
) du
2σ1 σ2
σ22
−∞
r
2 (s−µ)2
4·σ 2 σ1
(s−µ)2
−
1
2πσ12 σ22
2
2 σ 2 σ 4 ·4
2σ2
2σ1
2
=
·e
·e
·
2πσ1 σ2
σ2
(s−µ)
1
=√
· e− 2σ2
2πσ
(s−µ)
−
1
2
=
· e 2σ2
2πσ1 σ2
⇒ X1 + X2 ∼ Nµ1 +µ2 ,σ12 +σ22
Es gilt sogar, wenn X1 , X2 unabhängig und X1 + X2 normalverteielt, dann sind auch X1 , X2
normalverteielt.
KAPITEL 3. WEITERE VERTEILUNGSGESETZE VON TRANSFORMIERTEN ZUFÄLLIGEN VEKTOREN41
Wichtige weitere Familie von Verteilungen:
Definition 3.2.1 (Gamma-Verteilung) Die Zufallsgröße X ist gammaverteilt mit Parameter
(a, b), a > 0, b > 0, wenn sie folgende Verteilungsdichte besitzt:
fX (x) =
Schreibweise: X ∼ Γa,b ;
Speziell: Eλ = Γ1,2
ba a−1 −bx
x
·e
· 1(0,∞) (x)
Γ(a)
PX = Γa,b
Satz 3.2.3 (Summe zweier Gammaverteilungen) Es seien X1 , X2 unabhängige Zufallsgrößen mit Xi ∼ Γai ,b , a1 , a2 , b > 0. Dann gilt:
X1 + X2 ∼ Γa1 +a2 ,b
Beweis:
Für s ≤ 0: fX1 +X2 (s) =
R∞
fX1 (t) · fX2 (s − t)dt = 0
−∞
Für s > 0:
Z∞
fX1 (t) · fX2 (s − t)dt
fX1 +X2 (s) =
−∞
ba1 +a2
· e−b·s
=
Γ(a1 ) · Γ(a2 )
Zs
ta1 −1 (s − t)a2 −1 dt
0
t
Substitution: u = , dt = sdu
s
Z1
a1 +a2
b
−b·s
=
e
· (su)a1 −1 (s − su)a2 −1 sdu
Γ(a1 ) · Γ(a2 )
0
Z1
a1 +a2
b
=
e−b·s · sa1 +a2 −1 ·
Γ(a1 ) · Γ(a2 )
ua1 −1 (1 − u)a2 −1 du
0
|
{z
}
EU LERSCHE−β−F unktion(a1 ,a2 )=
=
ba1 +a2
· sa1 +a2 −1 · e−bs
Γ(a1 + a2 )
Folgerung 3.2.1 Seien X1 , ...Xn i.i.d. mit Xi ∼ Eλ > 0, dann gilt:
n
X
Xi ∼ Γn,λ
i=1
Γn,λ ... heißt ERLANG-Verteilung n-ter Stufe mit Parameter λ.
Γ(a1 )Γ(a2 )
Γ(a1 +a2 )
KAPITEL 3. WEITERE VERTEILUNGSGESETZE VON TRANSFORMIERTEN ZUFÄLLIGEN VEKTOREN42
(X1 , X2 ) zufälliger Vektor X1 − X2 = X1+(−X2 )
F−X2 (x) = P (−X2 ≤ x) = P (X2 ≥ −x) = 1 − P (X2 < −1)
= 1 − FX2 (−x) + P (X2 = −x)
und fX1 ,−X2 (x1 , x2 ) = fX1 ,X2 (x1 , −x2 )
⇒ Wenn X = (X1 , X2 ) zufälliger Vektor mit Verteilungsdichte fX ist, dann:
Z∞
fX (t, t − s)dt
fX1 −X2 (s) =
−∞
falls X1 , X2 unabhängig dann:
Z∞
fX1 (t) · fX2 (t − s)dt
fX1 −X2 (s) =
−∞
3.3
Produkt und Quotient zweier Zufallsgrößen
Hier nur stetiger Fall für x ∈ R
FX1 ·X2 (x) = P (X1 , X2 ≤ x)
Z∞ Z∞
=
1(−∞,x] (t1 , t2 )fX (t1 , t2 )dt1 dt2
−∞ −∞
im inneren Integral s = t1 · t2 , ds = t2 dt1
Z∞ Z∞
s
) · |t2 |dsdt2
=
1(−∞,x] (s)fX (
t2 , t2 1
−∞ −∞
⇒ X1 · X2 besitzt die Verteilungsdichte
Z∞
fX1 ·X2 (s) =
1
s
fX ( , t)dt
|t|
t
−∞
Analog
X1
X2
besitzt die Verteilungsdichte
Z∞
|t|fX (s · t, t)
f X1 (s) =
X2
−∞
Satz 3.3.1 (Produkt und Quotient zweier Zufallsgrößen) Es seien X1 , X2 unabhängige
Zufallsgrößen mit Verteilungsdichte fX1 , fX2 , dann sind die Funktionen:
Z∞
|t|fX (s · t, t)
f X1 (s) =
X2
−∞
Z∞
fX1 ·X2 (s) =
−∞
Verteilungsdichten von X1 · X2 bzw
X1
X2
für s ∈ R.
1
s
fX ( , t)dt
|t|
t
KAPITEL 3. WEITERE VERTEILUNGSGESETZE VON TRANSFORMIERTEN ZUFÄLLIGEN VEKTOREN43
3.4
Injektive differenzierbare Transformationen von zufälligen
Vektoren
Satz 3.4.1 () Es sei X = (X1 , ..., Xn ) ein n-dimensionaler zufälliger Vektor mit Verteilungsdichte
fX und V ⊂ Rn eine offene Menge mit fX (x) = 0 für x ∈
/V
Weiter sei T : V → Rn stetig differenzierbar und injektiv und es sei die Funktionaldeterminante
detT 0 (x) 6= 0 für alle x ∈ V . Dann besitzt der zufällige Vektir Y = T (X) die Verteilungsdichte
fY (u) =
fX (T −1 (u))
|detT 0 (T −1 (u))|
für alle u ∈ T (V ) und sonst fY (u) = 0.
Beweis:
Für Borlmenge B ⊂ T (V ) gilt:
P (Y ∈ B) = P (T (X) ∈ B)
= P (X = T −1 (B))
Z
= 1T −1 (B) (u) · fX (x)dx
Rn
Z
1B (T (x)) · fX (x)dx
=
Rn
Substitution:u = T (x) → x = T −1 (u)
∂x
1
det
=
∂u
det(T 0 (T −1 (u)))
Z
fX (T −1 (u))
= 1B (u)
du
|det(T 0 (T −1 (u)))|
Rn
Beispiele:
Transformation kartesisches Koordinaten → Polarkoordinaten
Transformation bei logarithmischer Normalverteilung
Beispiel: Affine Abbildungen
Es sei A eine reguläre (n,n)-Matrix, b ∈ Rn . T (x)AxT + bT
Dann hat der Vektor Y T mit Y = AxT + bT die Dichte:
fY (u) = fX (A−1 (u − b)T ) ·
Speziell für |detA| = 1 und b = 0:
fY (u) = fX (A−1 uT )
für u ∈ Rn (Drehung oder Drehspiegelung)
1
|detA|
KAPITEL 3. WEITERE VERTEILUNGSGESETZE VON TRANSFORMIERTEN ZUFÄLLIGEN VEKTOREN44
Folgerung 3.4.1 Es sei X = (X1 , ..., Xn ) normalverteilt mit Erwartungswert µ ∈ Rn und regulärer Kovarianz-Matrix Σ.
a) Wenn A eine reguläre (n,n)-Matrix ist und b ∈ Rn , dann ist Y T = AX T + bT normalverteilt
mit Erwartungswert µTY = AµT + b und Kovarianz-Matrix ΣY = AΣAT
b) Wenn X1 , ..., Xn i.i.d. standardnormalverteilt, dann ist Y T = A · X T + bT normalverteilt
mit µY = b und ΣY = A · AT .
c) Es existiert eine orthogonale Matrix
 2A
σ̃1
 ..
T
T
ist mit µY = Aµ und ΣY =  .
(d.h.
···
..
.
AT= A−1 ), sodass Y T = AX T normalverteilt
0
..  = diag(σ̃ 2 , ..., σ̃ 2 ), d.h. es existiert eine
n
1
. 
0 · · · σ̃n2
Drehung bzw. Drehung und Spiegelung von X, sodass die Koordinaten von Y unabhängig
sind.
d) Es existiert eine reguläre Matrix Ã, sodass
Y T = Ã(X T − µT )
normalverteilt mit µY = 0 und ΣY )In .
Nachweis d):

1
σ̃12
 .
Für A aus c) setzten: Ã = 
 ..
0
···
..
.
···

0
.. 

. ·A
1
2
σ̃n
Kapitel 4
Erwartungswert, Varianz und
Kovarianz
4.1
Vorbemerkung
Bisher: vollständige beschreibung des Verteilungsgesetzes einer Zufallsgröße, Verteilungsfunktion:
FX (
Einzelwahrscheinlichkeit P (X = xk ), xk ∈ WX falls X diskret ist
bzw
Verteilungsdichte: fX , falls X stetig ist
Jetzt:
• wichtige quantitative Merkmale des Verteilungsgesetzes
• wenige numerische Parameter sollen Vorstellung von PX vermitteln
⇒ Informationsdichte (Informationsverlust)
• inhaltliche Deutung der Parameter von Verteilungsfamilien
Beispiel:
X ... Monatseinkommen einer zufällig ausgewählten Person eines Landes
PX , FX beschreiben das Verteilungsgesetz
Spezielle Parameter:
• Durchschnittseinkommen → Erwartungswert
• mittlere quadratische Abweichung des Einkommens vom Durchschnittseinkommen → Varianz/Streuung
• P (X ≤ a) für einen bestimmten Wert a → Wert der Verteilungsfunktion an der Stelle a
• Zahl c, für die P (X > c) = α → α − Quantil z.B.
– α = 0.1 → Dezentil
– α = 0.01 → Perzentil
– α = 0.5 → Median
45
KAPITEL 4. ERWARTUNGSWERT, VARIANZ UND KOVARIANZ
4.2
46
Erwartungswert einer Zufallsgröße
Vorstellung: Mittelwert - nicht: ”der erwartete Wert”
Beispiel: Radioaktiver Zerfall
n ... Gesamtzahl der Versuche
ni ... Anzahl der Versuche, bei denen i Teilchen zerfallen sind, i = 1, 2, 3, ...
∞
P
→ Gesamtzahl der Zerfallenen Teilchen
i · ni
i=1
mittlere Anzahl der zerfallenen Teilchen pro Versuch:
1
n
∞
P
i · ni =
i=1
∞
P
i·
i=1
ni
n
Sei X ... Anzahl der zerfallenen Teilchen bei zufällig ausgewähltem Versuch (gemäß der Gleichverteilung auf {1, ..., n})
ni
P (X = i) =
n
∞
P
→ Mittlere Teilchenzahl pro Versuch:
= i · P (X = i)
i=1
oder folgende Vorstellung: X’ ... zufällige Anzahl der zerfallenen Teilchen bei einem Versuch
P (X 0 = i) = pi ≈
ni
n
(relative Häufigkeit ≈ Wahrscheinlichkeit)
Mittlere Anzahl der Zerfälle in einem Versuch:
∞
X
∞
X
ni
i·
≈
i · P (X 0 = i)
n
i=1
i=1
Definition 4.2.1 (Erwartungswert)
a) Es sei X eine diskrete Zufallsgröße. Falls
X
|xk | · P (X = xk ) < ∞
xk ∈WX
dann heißt
X
EX =
xk · P (X = xk )
xk ∈WX
Erwartungswert von X.
b) Es sei X eine stetige Zufallsgröße mit Verteilungsdichte fX - Falls
Z∞
|x| · f (x)dx < ∞
−∞
dann heißt
Z∞
x · fX (x)dx
EX =
−∞
Erwartungswert von X.
KAPITEL 4. ERWARTUNGSWERT, VARIANZ UND KOVARIANZ
47
• Schreibweise in der Physik: X̄ = EX = hXi
• falls fX als Massenverteilung auf R interpretiert wird, dann ist EX gerade die Koordinate
des Schwerpunktes
• falls eine endliche Menge WX existiert mit P (X ∈ WX ) = 1, dann existiert EX immer
• falls X nicht negativ, d.h. P (X ≥ 0) = 1, dann wird auch EX = ∞ zugelassen, d.h. EX
existiert dann immer
Beispiele:
Q
a) X ∼ λ , λ > 0, X nicht negativ → Existenz gesichert
EX =
=
∞
X
k=0
∞
X
k · P (X = k)
k·
λk −λ
e
k!
−λ
∞
X
λk−1
(k − 1)!
k=0
=λ·e
= λ · e−λ
k=1
∞
X
k0 =0
0
λk
=λ
(k 0 )!
b) X ∼ Nµ,σ2 , µ ∈ R, σ 2 > 0
Existenz:
Z∞
Z∞
|x|fX (x)dx =
−∞
−∞
=√
(x−µ)2
1
e− 2σ2 dx
2πσ


Z0
Z∞
(x−µ)2
(x−µ)2
−
x · e− 2σ2 + x · e− 2σ2 dx
|x| √
1
2πσ
−∞
0
x−µ
, dx = σdt
Substitution: t =
σ


µ
Z− σ
Z∞
2
2
t
t
1 

= √ −
(σt + µ)e− 2 dt +
(σt + µ)e− 2 dt
2π
µ
−∞
−σ




µ


∞
Z− σ
Z


2
2
2
µ
t2
t
1  − µ2

= √ σe 2σ − µ
e− 2 dt +σe− 2σ2 + µ
e− 2 dt < ∞


2π 
µ

−∞
−σ

|
{z
}
|
{z
}
√
µ 2π
√
µ 2π
KAPITEL 4. ERWARTUNGSWERT, VARIANZ UND KOVARIANZ
48
Z∞
xfX (x)dx
EX =
−∞
1
=√
2πσ
Z∞
x · e−
(x−µ)2
2σ 2
−∞
Z∞
t2
(σt + µ)e− 2 dt
1
=√
2π
∞


 ∞

 Z

Z∞


t2
t2
− 2
− 2
σ
t·e
dt +µ
dt
e

=µ


−∞
 −∞
|
{z
}
| {z }
1
=√
2π
√
0
2π
Eigenschaften des Erwartungswertes
• Wenn X1 , X2 Zufallsgrößen mit PX1 = PX2 und EX1 existiert, dann existiert auch EX2 und
es gilt: EX1 = EX2 .
Satz 4.2.1 () Es sei X eine Zufallsgröße und g : R → R eine messbare Funktion.
a) Falls X diskret ist und Eg(X) existiert, dann gilt:
X
Eg(X)
g(xk ) · P (X = xk )
xk ∈WX
b) Falls X stetig ist mit der Verteilungsdichte fX und Eg(X) existiert, dann gilt:
Z∞
Eg(X) =
g(X)fX (x)dx
−∞
Beweis: nur für a)
Wenn Eg(x) existiert, dann
X
Eg(X) =
yj · P (g(X) = yj )
yj ∈Wg(X)
X
=
yj · P (X ∈ g −1 ({yj }))
yj ∈Wg(X)
=
X
yj
yj
=
X
X
P (X = xk )
xk ∈WX :g(xk )=yj
X
g(xk ) · P (X = xk )
yj xk ∈WX :g(xk )=yj
=
X
x∈WX
g(xk ) · P (X = xk )
KAPITEL 4. ERWARTUNGSWERT, VARIANZ UND KOVARIANZ
49
Wichtiger Spezielfall: g(X) = X m
EX m ... m-tes Moment von X (falls es existiert)
g(X) = (X − EX)m
E(X − EX)m ... m-tes zentrales Moment
Satz 4.2.2 (Erwartungswert von Summe Produkt zweier Zufallsgrößen) Es
X1 , X2 Zufallsgrößen, deren Erwartungswert existiert.
seien
a) Für alle a, b ∈ R existiert E(aX1 + b) und es gilt E(aX1 + b) = aE1 + b.
b) Es existiert E(X1 + X2 ) und es gilt E(X1 + X2 ) = EX1 + EX2 .
c) Falls X1 , X2 unabhängig sind, dann existiert E(X1 · X2 ) und es gilt E(X1 · X2 ) = EX1 · EX2 .
Beweis nur teilweise:
R∞
zu a) Sei X stetig mit Verteilungsdichte fX auf
|x| · fX (x)dx < ∞
−∞
Für g(X) = aX + b gemäß Satz 4.2.2 a) :
Existenz:
R∞
|ax + b| · fX (x)dx ≤ |a|
−∞
Z∞
R∞
fX (x)dx < ∞
|x|fX (x)dx + |b|
−∞
−∞
{z
|
E(aX + b) =
R∞
}
=1
(aX + b)fX (x)dx = aEX + b
−∞
zu b) Sei X = (X1 , X2 ) stetig mit gemeinsamer Verteilungsdichte fX
R∞
und
|x| fXi (x) dx < ∞, i = 1, 2
| {z }
−∞
Randdichte
Betrachte: g(X1 , X2 ) = X1 + X2
Existenz:
Z∞ Z∞
Z∞ Z∞
|x1 + x2 |fX (x1 , x2 )dx1 dx2 ≤
−∞ −∞
Z∞ Z∞
|x1 |fX (x1 , x2 )dx1 dx2 +
−∞ −∞
Z∞
Z∞
|x1 |fX1 (x1 )dx1 +
=
−∞
|x2 |fX2 (x2 )dx2
−∞
Z∞ Z∞
E(X1 + X2 ) =
(x1 + x2 )fX (x1 , x2 )dx1 dx2
−∞ −∞
Z∞
=
Z∞
x1 fX1 (x1 )dx1 +
−∞
= EX1 + EX2
zu c) ähnlich wie b), dabei Unabhängigkeit verwenden
|x2 |fX (x1 , x2 )dx1 dx2
−∞ −∞
x2 fX2 (x2 )dx2
−∞
KAPITEL 4. ERWARTUNGSWERT, VARIANZ UND KOVARIANZ
50
Folgerung 4.2.1 Wenn X1 , X2 Zufallsgrößen sind deren Erwartungswerte existieren
und X1 ≤ X2 , dann ist EX1 ≤ EX2 .
Satz 4.2.3 () Es sei X eine nicht negative Zufallsgröße (d.h P (X ≥ 0) = 1) mit Verteilungsfunktion FX . Dann gilt:
Z∞
EX = 1 − FX (x)dx
0
, wobei hier der Wert ∞ möglich ist.
Beweis (nur für stetigen Fall):
Es sei X eine nicht negative, stetige Zufallsgröße mit Verteilungsdichte fX · 1[0,∞)
Dann gilt:
Z∞
Z∞ Z∞
1 − FX (x)dx =
0
fX (t)dtdx
0
x
Z∞ Z∞
fX (t) · 1(x, ∞)(t)dtdx
=
0
0
Z∞
=
Z∞
fX (t)
0
1(0,t) (x)dxdt
0
Z∞
t · fX (t)dt = EX
=
0
Folgerung 4.2.2
EX 2 = 0 ⇒ P (X = 0) = 1
Beweis:
0 = EX 2 =
R∞
1 − FX (x)dx
0
→ FX 2 = 1[0,∞) → P (X 2 ) = 1 → P (X = 0) = 1
Beispiel
X ∼ Eλ .λ > 0.
R∞
EX = 1 − (1 − e−λx )dx =
0
1
λ
KAPITEL 4. ERWARTUNGSWERT, VARIANZ UND KOVARIANZ
51
Definition 4.2.2 (Erwartungswert eine zufälligen Vektors) Es sei X = (X1 , ..., Xn ) ein
zufälliger Vektor. Unter dem Erwartungswertvektor von X versteht man den Vektor:
EX = (EX1 , ..., EXn )
falls alle Erwartungswerte EXi , i = 1, ..., n existieren.
• falls X ∼ Nµ,Σ , dann EX = µ
R∞
R∞
R∞
(z.B. EX1 =
x1 fX1 (x1 )dx1 =
...
x1 fX (x1 , ..., xn )dx1 ...dxn )
−∞
−∞
−∞
Definition 4.2.3 () Es sie Z = X + iY eine komplexwertige zufällige Variable, wobei X,Y reelle
Zufallsgrößen sind, deren Erwartungswert existiert. Dann wird der Erwartungswert von Z definiert
als:
EZ = EX + iEY
Wichtige Transformationen von Verteilungsgesetzen
Definition 4.2.4 () Es sei X eine reelle Zufallsgröße.
a) Es gilt P (X ∈ N0 ) = 1, d.h. X sei eine nicht negative ganze zufällige Zufallsgröße. Dann
wird die (Wahrscheinlichkeit-)erzeugende Funktion von X (bzw von PX ) definiert durch
FX (t) = EtX =
∞
X
tk · P (X = k) für |t| ≤ 1
k=0
b) Die charakteristische Funktion von X (bzw PX ) wird definiert als
ϕX (t) = EeitX für t ∈ R
Falls X stetig mit Verteilungsdichte fX dann gilt:
Z∞
fX (t) =
fX (x) · eitx dx
−∞
Wichtige Aussagen für diese Transformationen
• Eindeutigkeitssatz, Konvergenzsätze/Stetigkeitsaussagen
• Formel zur Berechnung von Momenten (falls diese existieren)
d (t)
ϕ |t=0 = E · iX · eitX |t=0 = iEX
dt X
KAPITEL 4. ERWARTUNGSWERT, VARIANZ UND KOVARIANZ
• Behandlung von Summen unabhängiger Zufallsgrößen,
ϕX1 +X2 (t) = Eeit(X1 +X2 )
= E(eitX1 · eitX2 )
= (EeitX1 )(EeitX2 )
= ϕX1 (t) · ϕX2 (t)
4.3
Varianz einer Zufallsgröße
Abweichung: X − EX ist Zufallsgröße, E(X − EX) = 0
Definition 4.3.1 (Varianz) Es sei X eine Zufallsgröße. Falls EX 2 < ∞, dann heißt
varX = E(X − EX)2
die Varianz von X. Falls EX 2 < ∞, dann E|X| < ∞, d.h EX existiert und EX < ∞.
Es gilt:
varX = EX 2 − (EX)2
Beweis:
varX = E(X − EX)2
= E(X 2 − 2XEX + (EX)2 )
= EX 2 − (EX)2
Schreibweise: varX = σ 2 (X) = D2 (X) = h(X − hXi)2 i
Sprechweise:
varX
... Varianz, Streuung, Dispersion
√
varX
... Standardabweichung
√
varX
... Varianzkoeffizient , falls EX 6= 0
EX
Beispiele:
a) Zufallsgröße X mit P (X = 1) = 1 − P (X = 0) = p, p ∈ [0, 1]
Hier: P (X 2 = 1) = 1 − P (X 2 = 0) = p
d.h. PX = PX 2
EX 2 = EX = 0 · P (X = 0) + 1 · P (X = 1) = p
varX = EX 2 − (EX)2 = p − p2 = p(1 − p)
52
KAPITEL 4. ERWARTUNGSWERT, VARIANZ UND KOVARIANZ
b) X ∼ Nµ,σ2 , µ ∈ R, σ 2 > 0
53
EX = µ
varX = E(X − EX)2 = E(X − µ)2
Z∞
(x−µ)2
1
(x − µ)2 √
e− 2σ2 dx
=
2πσ
−∞
Substitution: t =
1
=√
2π
Z∞
x−µ
σ
σ 2 t2 · e
−t2
2
t2
u
−∞

t2
σ2
= √ −t · e− 2 |∞
−∞ −
2π
=σ
c) X ∼
Q
λ,
t2
− 2
0
− 2
dt partielle Integration: |{z}
t · |te{z
} ⇒ u = 1 v = −e
Z∞
v0

2
t
−e− 2 dt
−∞
2
λ>0
EX 2 =
=
∞
X
k=0
∞
X
k=0
=e
−λ
= e−λ
k 2 · P (X = k)
k2 ·
λk −λ
·e
k!
∞
X
∞
X
λk
λk
(k − 1)
+
1
(k − 1)!
(k − 1)!
k=1
k=1
!
∞
∞
X λk
X λk
+
(k − 2)!
(k − 1)!
k=2
!
k=1
= e−λ (λ2 eλ + λeλ ) = λ2 + λ
varX = EX 2 − (EX)2
= λ2 + λ − λ2 = λ
Satz 4.3.1 ()
a) Es sei X eine Zufallsgröße mit EX 2 < ∞, Dann gilt für alle a, b ∈ R, dass E(aX + b)2 < ∞
und
var(aX + b) = a2 varX
b) Es seien X1 , X2 unabhängige Zufallsgrößen mit EXi2 < ∞, i = 1, 2. Dann gilt für all E(X1 +
X2 )2 < ∞ und var(X1 + X2 ) = varX1 + varX2
var(X1 − X2 ) = varX1 + varX2
KAPITEL 4. ERWARTUNGSWERT, VARIANZ UND KOVARIANZ
54
Beweis:
zu a) E(aX + b)2 E(a2 X 2 + 2abX + b2 ) = a2 EX 2 + 2abEX + b2 < ∞, falls EX 2 < ∞
var(aX + b) = E(aX + b − E(aX + b))2
= E(aX + b − aEX − b)2
= Ea2 (X − EX)2
= a2 varX
zu b) E(X1 + X2 )2 = EX12 + EX22 + 2EX1 X2 < ∞
Falls X1 , X2 unabhängig, E(X1 X2 ) = EX1 · EX2 < ∞
var(X1 + X2 ) = E(X1 + X2 − E(X1 + X2 ))2
= E(X1 − EX1 )2 + E(X2 − EX2 )2 + 2E ((X1 − EX1 )(X2 − EX2 ))
= varX1 + varX2 + 2E ((X1 − EX1 )(X2 − EX2 ))
= varX1 + varX2 falls X1 , X2 unabhängig
4.4
Die Kovarianz zweier Zufallsgrößen / die KovarianzMatrix eines zufälligen Vektors
Zunächst: 2-dimensionaler zufällger Vektor X = (X1 , X2 )
Vorstellung: Parameter, der den Grad der stochastischen Abhängigkeit von X1 und X2 ausdrückt.
Eine Möglichkeit: E(X1 · X2 ) − (EX1 ) · (EX2 )
Vorbemerkung: Aus der Tatsache (|X1 | − |X2 |)2 ≥ 0, folgt |X1 · X2 | ≤ X12 + X22 und damit
E|X1 · X2 | ≤ EX12 + EX22
Definition 4.4.1 (Kovarianz) Es sei X = (X1 , X2 ) ein zufälliger Vektor. Falls EXi2 < ∞, i =
1, 2, dann heißt
cov(X1 , X2 ) = E ((X1 − EX1 )(X2 − EX2 ))
die Kovarianz von X1 und X2 .
Es gilt:
cov(X1 , X2 ) = E(X1 · X2 ) − E(X1 ) · E(X2 )
cov(X1 , X2 ) = cov(X2 , X1 )
var(X1 + X2 ) = varX1 + varX2 + 2cov(X1 , X2 )
• Beachte: cov(X1 , X2 ) kann negativ sein
• falls X1 , X2 stochastisch unabhängig, dann cov(X1 , X2 ) = 0.
Umkehrung gilt im Allgemeinen nicht.
Wenn cov(X1 , X2 ) = 0, dann heßen X1 , X2 unkorreliert.
Beispiele:
a)
cov(X, aX + b) = E ((X − EX)(aX + b − E(aX + b)))
= a · E(X − EX)2 = a · varX
KAPITEL 4. ERWARTUNGSWERT, VARIANZ UND KOVARIANZ
55
b) (X1 , X2 ) besitze zweidimensionale Normalverteilung mit (µ1 , µ2 ), (σ12 , σ22 ), ρ
cov(X1 , X2 ) = E ((X1 − EX1 )(X2 − EX2 ))
Z∞ Z∞
(x1 − µ1 )(x2 − µ2 ) · fX1 ,X2 (x1 , x2 )dx1 dx2
=
−∞ −∞
Substitution: y1 =
σ1 · σ2
p
=
2π 1 − ρ2
Z∞
= σ1 σ2
−∞
Z∞
x1 − µ1
x2 − µ2
, y2 =
σ1
σ2
Z∞
1
2
2
y1 y2 · exp −
(y − 2ρy1 y2 + y2 ) dy1 dy2
2(1 − ρ2 ) 1
−∞ −∞
1 − 1−ρ2 y2
y2 √ e 2(1−ρ2 ) 2
2π
Z∞
y1 √
−∞
|
Z∞
= ρσ1 σ2 ·
−∞
|
1(y1 −ρy2 )2
1
−
p
e 2(1−ρ2 ) dy1 dy2
2π 1 − ρ2
{z
}
ρy2
2
y2
1
y22 √ e− 2 dy2
2π
{z
}
Wert der Standardnormalverteilung=1
= ρσ1 σ2
→ für Zweidimensionale Normalverteilung:
ρ = 0 ⇔ Unabhängigkeit von X1 , X2 ⇔ cov(X1 , X2 ) = 0 (d.h. X1 , X2 unkorreliert)
Definition 4.4.2 (Korrelationskoeffizient) Es sei (X1 , X2 ) ein zufälliger Vektor mit EXi2 <
∞ und varXi > 0, i = 1, 2
cov(X1 , X2 )
ρX1 ,X2 = √
varX1 · varX2
heißt Korrelationskoeffizient von X1 und X2 .
• Aus der Cauchy-Schwartz’schen-Ungleichung folgt
(cov(X1 , X2 ))2 ≤ varX1 · varX2 und damit
−1 ≤ ρX1 ,X2 ≥ 1
• Wenn X1 , X2 unabhängig und varXi > 0, i = 1, 2 dann: ρX1 ,X2 = 0
Beispiel:
b) zweidimensionale Normalverteilung: ρX1 ,X2 = ρ
a) a 6= 0, varX > 0:
ρX,aX+b
(
1, a > 0
a
=
= sgn a
=√
2
|a|
−1, a < 0
varX · a · varX
a · varX
• man kann sogar zeigen
|ρX1 ,X2 | = 1 ⇔ ∃a, b ∈ R, a 6= 0 : X2 = aX1 + b und sgn a = sgn ρX1 ,X2
Es sei A = (Yij )m×n eine zufällige Matrix, d.h. Yij sind reelle Zufallsgrößen. Man definiert
EA = (EYij )m×n
falls alle EYij existieren.
KAPITEL 4. ERWARTUNGSWERT, VARIANZ UND KOVARIANZ
Definition 4.4.3 (Kovarianzmatrix) Es sei X = (X1 , ..., Xn ) ein zufälliger Vektor mit
EX 2 < ∞ , i = 1, ..., n. Dann heißt die (n × n)-Matrix:
ΣX = E (X − EX)T (X − EX) = (cov(Xi , Xj ))n×n
die Kovarianzmatrix des Vektors X.
Eigenschaften von ΣX :
• auf der Hauptdiagonalen: cov(Xi , Xj ) = varXi
• ΣX ist symmetrisch, ΣX = ΣTX
• ΣX ist positiv semidefinit, d.h. xΣX xT ≥ 0 für alle x ∈ Rn
T
T
Beweis: xΣX x = x E (X − EX) (X − EX) xT = E(x(X − EX)T )2 ≥ 0
• falls ΣX regulär, dann ist ΣX positiv definit, d.h. xΣX xT > 0 für alle x ∈ Rn \ {x = 0}
• ΣX ist Diagonalmatrix ⇔ X1 , ..., Xn paarweise unkorreliert
• für zufällige Vektoren: X ∼ Nµ,Σ ⇒ ΣX = Σ
speziell für zweidimensionale Normalverteilung mit (µ1 , µ2 ), (σ12 , σ22 ), ρ
σ12
ρ · σ1 σ2
ΣX = Σ =
ρ · σ1 σ2
σ22
56
Kapitel 5
Ungleichungen und
Grenzwertsätze
5.1
Einführung
Gesetze der Großen Zahlen:
relative Häufigkeit Anzahl der Versuche→∞
−−−−−−−−−−−−−−−−→ Wahrscheinlichkeit des Ereignisses
lineares Ereignis
Arithmetissches Mittel der beobachteten Anzahl der Realisierungen→∞
−−−−−−−−−−−−−−−−−−−→ Erwartungswert der Zufallsgröße
Werte von Realisierungen einer Zufallsgröße
Zentrale Grenzwertsätze:
Asymptotische Verteilung der Summe von i.i.d. Zufallsgrößen ist Normalverteilt.
solche Aussagen:
• illustrieren, dass Modelle und Begriffe der Wahrscheinlichkeitstheorie gelungen sind
• können interpretiert werde als Gesetzmässigkeit des Zufalls“
”
• bilden wichtige Grundlage der mathematischen Statistik: Aus Beobachtungen können In”
formationen über unbekannte Verteilung bzw. deren Parameter gewonnen werden“.
Hilfsmittel:
Ungleichungen zur Abschätzung von Wahrscheinlichkeiten für Abweichungen“.
”
5.1.1
Vorbetrachtung
betrachten speziell unendliches Bernoulli-Schema:
X1 , ..., Xn i.i.d. Zufallsgrößen mit P (Xi = 1) = P (Xi = 0) = 21 = p
für gerades n = 2k, k ∈ N
!
! n
2k
X
1X
2k 1 k→∞
P
Xi = p = P
Xi = k =
−−−−→ 0
n i=1
k 22k
i=1
Nachweis mit Hilfe der STIRLINGschen Formel:
lim
n→∞
n!
√
n n
l
57
2πn
=1
KAPITEL 5. UNGLEICHUNGEN UND GRENZWERTSÄTZE
5.2
58
Markovsche und Tschebyschersche Ungleichung
Satz 5.2.1 (Markovsche Ungleichung)
Es seien X eine Zufallsgröße und g : [0, ∞) → [0, ∞) monoton nicht fallend und g(x) für x > 0.
Dann gilt für alle c > 0:
Eg (|X|)
P (|X| ≥ c) ≤
g(c)
Beweis:
Abbildung 5.1: g(|X|) über |X|
Für c > 0 gilt g(c) · 1[c,∞) (|X|) ≤ g (|X|)
→ g(c) · P (|X| ≥ c) = g(c)E · 1[c,∞) (|X|)
= Eg(c) · 1[c,∞) (|X|) ≤ Eg (|X|)
Satz 5.2.2 (Tschebyschevsche Ungleichung) Es sei X eine Zufallsgröße mit EX 2 < ∞. Für
alle c > 0 gilt:
varX
P (|X − EX| ≥ c) ≤
c2
Beweis:
Ersetzten in Satz 5.2.1 X durch X − EX und setzen g(x) = x2 für x ≥ 0 Beispiel:
Sei X ∼ Nµ,σ2 , µ ∈ R, σ 2 > 0
Setzen c = kσ, k = 1, 2, 3


1 für k = 1
1
σ
P (|X − µ| ≥ kσ) ≤ 2 2 = 2 = 14 für k = 2

k σ
k
1
9 für k = 3
2
KAPITEL 5. UNGLEICHUNGEN UND GRENZWERTSÄTZE
5.3
59
Gesetze der Großen Zahlen
Satz 5.3.1 (schwaches Gesetz der Großen Zahlen) Es sei X1 , X2 , ... eine Folge von i.i.d.
Zufallsgrößen mit EXi2 < ∞. Dann gilt für alle > 0
∞
!
1 X
lim P Xi − EX1 > = 0
n→∞
n
i=1
Beweis:
Verwenden Tschebyschevsche Ungleichung und ersetzen dort X durch
0≤P
1
n
∞
P
Xi . Für alle > 0
i=1
!
∞
1 X
varX1 n→∞
Xi − EX1 > ≤
−−−−→ 0
n
n · 2
i=1
Folgerung 5.3.1 Es sei X1 , X2 , ... eine Folge von i.i.d. Zufallsgrößen mit
P (Xi = 1) = 1 − P (Xi = 0) = p ; p ∈ [0, 1]. Dann gilt für alle > 0:
 P

∞
Xi
 i=1


lim P 
 n − p >  = 0
n→∞
(Bereits 1713 von Jakob Bernoulli gezeigt)
Bemerkung
Für Gültigkeit der Aussage zum Satz des schwachen Gesetzes der Großen Zahlen genügt schon
die paarweise Unkorreliertheit und die Existenz einer oberen Schranke von varXi , i = 1, 2, ...
allerdings EX1 = EX2 = ...
Beispiel Würfeln:
(
0, falls im i-ten Wurf keine 6“
”
1, falls im i-ten Wurf eine 6“ p = 16
”
1 5
5
varXi = p(1 − p) = · =
zum Beispiel = 0, 01
6
6
36
 P

∞
X
 i=1 i
 50000
1
1383

P 
− > 0, 01
≤
=

6
36n
n
n
Xi =
Definition 5.3.1 (Konvergenz) Es seien X, X1 , X2 , ... Zufallsgrößen (auf einem Wahrscheinlichkeitsraum [Ω, €a, P ]). Die Folge (Xn ) konvergiert im Wahrscheinlichkeitsraum gegen X, wenn
∀ > 0 : lim P (|Xn − X| > ) = 0
n→∞
P
Schreibweise: Xn −
→X
KAPITEL 5. UNGLEICHUNGEN UND GRENZWERTSÄTZE
60
Damit kann der Satz der schwachen Gesetze großer Zahlen auch geschrieben werden:
n
X1 , X2 , ... i.i.d.
, EX12
1X
P
Xi −
→ EX1
<∞⇒
n i=1
ausführliche Schreibweise
∀ > 0 : lim P ({ω ∈ Ω : |Xn (ω) − X(ω)| > })
n→∞
Definition 5.3.2 (Konvergenz (fast sicher)) Es seien X, X1 , X2 , ... Zufallsgrößen (auf einem
Wahrscheinlichkeitsraum [Ω, €a, P ]) Die Folge (Xn ) konvergiert fast sicher (f.s.) gegen X , wenn
p lim |Xn − X| = 0 = 1
n→∞
f.s.
Schreibweise: Xn −−→ X
ausführlicher Schreibweise:
n
o
P
ω ∈ Ω : lim |Xn (ω) − X(ω)| = 0
=1
n→∞
f.s.X
P
Es gilt: Wenn Xn −−−→ X ,dann Xn −
→X
Verschärfung von Satz des schwachen Gesetzes großer Zahlen.
Satz 5.3.2 (starkes Gesetz der großen Zahlen) Es seien X1 , X2 , ... eine Folge von i.i.d. Zufallsgrößen, für die EX1 existiert, dann gilt:
!
n
n
1X
1X
f.s.
Xi −−→ EX1 ,d.h. P lim
Xi = EX1 = 1
n→∞ n
n i=1
i=1
Folgerung 5.3.2 Es sei X1 , X2 , ... eine Folge von i.i.d. Zufallsgrößen mit
P (Xi = 1) = 1 − P (Xi = 0) = p , p ∈ [0, 1]. Dann gilt:
n
1X
f.s.
Xi −−→ p
n i=1
KAPITEL 5. UNGLEICHUNGEN UND GRENZWERTSÄTZE
5.4
61
Der zentrale Grenzwertsatz
Satz 5.4.1 (Zentraler Grenzwertsatz (ZGWS)) Es sei X1 , X2 , ... eine Folge von i.i.d. Zufallsgrößen mit
EX12 < ∞ und varX1 = σ 2 > 0 , EX1 = µ. Dann gilt für alle x ∈ R:

P
n
Xi − nµ

 i=1
√
≤ x
lim P 
 = Φ(x)

n→∞
nσ
• Summe von i.i.d. Zufallsgrößen mit positiv endlicher Varianz sind asymptotisch normalverleilt.
– Modellbildung zum Beispiel für Meßwerte
– mathematische Statistik
• Konvergenzart: Punktweise Konvergenz von Verteilungsfunktionen (man kann sogar zeigen:
gleichmäßige Konvergenz)
=
ˆ schwache Konvergenz der Verteilung
d
=Konvergenz
ˆ
in Verteilung der Folge der Zufallsgrößen (Xn −
→ X)
p
f.s.
d
Es gilt: Xn −−→ X ⇒ Xn −
→ X ⇒ Xn −
→X
nach zentralem Grenzwertsatz gilt:
n
P
i=1
√
Xi − nµ
n
√
=
σ
nσ
!
n
1X
d
Xi − µ −
→ Z, Z ∼ N0,1
n i=1
Aus dem Gesetz der Großen Zahlen folgt:
n
1X
d
Xi − µ −
→0
n i=1
• Eine Aussage zur Konvergenzgeschwindigkeit:
Satz von Berry-Esse’n (siehe Georgii S.135). Falls die Voraussetzung für den zentralen Grenzwertsatz erfüllt und ausserdem E|X1 |3 < ∞ , dann:
 n

P
Xi − nµ
 i=1

E(|X1 − EX1 |)3 1


√
≤ x − Φ(x) ≤ 0, 8
·√
supx∈R P 
σ3
nσ
n
Anmerkung
Möglichkeit zur Simulation von N0,1 -verteilten Zufallsgrößen.
n = 12 X1 , X2 , ..., X12 ∼ U (0, 1), i.i.d
n
X
Xi − 6 ∼ N0,1 approximiert
i=1
Achtung: Es kann fraglich sein, dass ein Zufallsgenerator unabhängige Zufallsgrößen gut simuliert!