Satz (Gesetz der großen Zahlen von Etemadi) :
Es sei
(
X
n
)
n
∈
N
{\displaystyle (X_{n})_{n\in \mathbb {N} }}
eine Folge paarweise unabhängiger und gleichverteilter Zufallsvariablen, sodass
E
[
|
X
1
|
]
<
∞
{\displaystyle E[|X_{1}|]<\infty }
. Dann gilt
fast sicher
lim
n
→
∞
S
n
n
=
E
[
X
1
]
{\displaystyle \lim _{n\to \infty }{\frac {S_{n}}{n}}=\mathbb {E} [X_{1}]}
,
wobei
S
n
:=
X
1
+
⋯
+
X
n
{\displaystyle S_{n}:=X_{1}+\cdots +X_{n}}
.
Beweis: Zunächst zerlegen wir
X
n
=
X
n
+
−
X
n
−
{\displaystyle X_{n}=X_{n}^{+}-X_{n}^{-}}
, wobei
X
n
−
:=
−
X
n
1
X
n
<
0
{\displaystyle X_{n}^{-}:=-X_{n}\mathbf {1} _{X_{n}<0}}
und
X
n
+
:=
X
n
1
X
n
>
0
{\displaystyle X_{n}^{+}:=X_{n}\mathbf {1} _{X_{n}>0}}
.
Wir werden Etemadis Gesetz der großen Zahlen für nicht-negative Zufallsvariablen beweisen. Sobald wir das getan haben, können wir allerdings das Gesetz der großen Zahlen durch die obige Zerlegung auch für teils negative Zufallsvariablen beweisen, denn es gilt ja dann, dass die
X
n
+
{\displaystyle X_{n}^{+}}
und
X
n
−
{\displaystyle X_{n}^{-}}
gleichverteilt, aber auch paarweise unabhängig (wegen z. B.
P
(
X
n
+
∈
(
a
,
b
)
∧
X
m
+
∈
(
c
,
d
)
)
=
P
(
X
n
∈
(
a
,
b
)
∧
X
m
∈
(
c
,
d
)
)
{\displaystyle \mathbb {P} (X_{n}^{+}\in (a,b)\wedge X_{m}^{+}\in (c,d))=\mathbb {P} (X_{n}\in (a,b)\wedge X_{m}\in (c,d))}
für
a
,
c
>
0
{\displaystyle a,c>0}
und entsprechenden Gleichungen für
a
,
b
<
0
{\displaystyle a,b<0}
) sind, und deren Durchschnitt deswegen gegen
E
[
X
1
+
]
{\displaystyle E[X_{1}^{+}]}
resp.
E
[
X
1
−
]
{\displaystyle E[X_{1}^{-}]}
konvergiert.
Nun können wir also annehmen, dass jedes
X
n
{\displaystyle X_{n}}
nicht-negativ ist. Wir setzen
k
n
:=
⌊
α
n
⌋
{\displaystyle k_{n}:=\lfloor \alpha ^{n}\rfloor }
und
Y
i
:=
X
i
1
X
i
≤
i
{\displaystyle Y_{i}:=X_{i}\mathbf {1} _{X_{i}\leq i}}
. Ferner setzen wir
S
n
∗
:=
∑
k
=
1
n
Y
k
{\displaystyle S_{n}^{*}:=\sum _{k=1}^{n}Y_{k}}
.
Die Markov-Chebyshev‒Ungleichung impliziert nun
∑
n
=
1
∞
P
(
S
k
n
∗
−
E
[
S
k
n
∗
]
k
n
)
≤
1
ϵ
2
∑
n
=
1
∞
1
k
n
2
Var
(
S
k
n
∗
)
{\displaystyle \sum _{n=1}^{\infty }\mathbb {P} \left({\frac {S_{k_{n}}^{*}-\mathbb {E} [S_{k_{n}}^{*}]}{k_{n}}}\right)\leq {\frac {1}{\epsilon ^{2}}}\sum _{n=1}^{\infty }{\frac {1}{k_{n}^{2}}}\operatorname {Var} (S_{k_{n}}^{*})}
.
Aber ähnlich wie die Variablen
X
n
+
{\displaystyle X_{n}^{+}}
und
X
n
−
{\displaystyle X_{n}^{-}}
sind auch die Variablen
Y
n
{\displaystyle Y_{n}}
paarweise unabhängig. Daher gilt nach der Bienaymé-Gleichung
Var
(
S
k
n
∗
)
=
∑
j
=
1
k
n
Var
(
Y
i
)
{\displaystyle \operatorname {Var} (S_{k_{n}}^{*})=\sum _{j=1}^{k_{n}}\operatorname {Var} (Y_{i})}
.
Des weiteren gilt
Var
(
Y
i
)
=
E
[
Y
i
2
]
−
E
[
Y
i
]
2
{\displaystyle \operatorname {Var} (Y_{i})=\mathbb {E} [Y_{i}^{2}]-\mathbb {E} [Y_{i}]^{2}}
und daher
∑
j
=
1
k
n
Var
(
Y
i
)
≤
∑
j
=
1
k
n
E
[
Y
i
2
]
{\displaystyle \sum _{j=1}^{k_{n}}\operatorname {Var} (Y_{i})\leq \sum _{j=1}^{k_{n}}\mathbb {E} [Y_{i}^{2}]}
.
Nun benutzen wir die Ungleichung
2
⌊
x
⌋
≥
x
{\displaystyle 2\lfloor x\rfloor \geq x}
für alle
x
≥
1
{\displaystyle x\geq 1}
und die Vertauschung der Summation, sowie die Formel für die geometrische Reihe, um einzusehen, dass
1
ϵ
2
∑
n
=
1
∞
1
k
n
2
Var
(
S
k
n
∗
)
≤
1
ϵ
2
∑
i
=
1
∞
∑
n
=
1
∞
[
i
≤
k
n
]
1
k
n
2
E
[
Y
i
]
≤
1
ϵ
2
∑
i
=
1
∞
1
i
2
4
1
−
α
E
[
Y
i
2
]
{\displaystyle {\begin{aligned}{\frac {1}{\epsilon ^{2}}}\sum _{n=1}^{\infty }{\frac {1}{k_{n}^{2}}}\operatorname {Var} (S_{k_{n}}^{*})&\leq {\frac {1}{\epsilon ^{2}}}\sum _{i=1}^{\infty }\sum _{n=1}^{\infty }[i\leq k_{n}]{\frac {1}{k_{n}^{2}}}\mathbb {E} [Y_{i}]\\&\leq {\frac {1}{\epsilon ^{2}}}\sum _{i=1}^{\infty }{\frac {1}{i^{2}}}{\frac {4}{1-\alpha }}\mathbb {E} [Y_{i}^{2}]\end{aligned}}}
gilt. Nun gilt aber auch
E
[
Y
i
2
]
=
∫
0
i
x
2
d
F
(
x
)
=
∑
m
=
0
i
−
1
∫
m
m
+
1
x
2
d
F
(
x
)
{\displaystyle \mathbb {E} [Y_{i}^{2}]=\int _{0}^{i}x^{2}dF(x)=\sum _{m=0}^{i-1}\int _{m}^{m+1}x^{2}dF(x)}
,
wobei
F
{\displaystyle F}
die kumulative Distributionsfunktion von
X
1
{\displaystyle X_{1}}
ist. Indem wir jetzt nochmal die Summation vertauschen und daraufhin die Ungleichung
∑
i
=
m
+
1
∞
1
i
2
≤
2
∫
m
+
1
∞
1
x
2
d
x
=
2
m
+
1
{\displaystyle \sum _{i=m+1}^{\infty }{\frac {1}{i^{2}}}\leq 2\int _{m+1}^{\infty }{\frac {1}{x^{2}}}dx={\frac {2}{m+1}}}
anwenden, erhalten wir
1
ϵ
2
4
1
−
α
∑
i
=
1
∞
1
i
2
E
[
Y
i
2
]
≤
1
ϵ
2
8
1
−
α
∑
m
=
0
∞
1
m
+
1
∫
m
m
+
1
x
2
d
F
(
x
)
≤
1
ϵ
2
8
1
−
α
∫
0
∞
x
d
F
(
x
)
=
1
ϵ
2
8
1
−
α
E
[
X
1
]
<
∞
{\displaystyle {\frac {1}{\epsilon ^{2}}}{\frac {4}{1-\alpha }}\sum _{i=1}^{\infty }{\frac {1}{i^{2}}}\mathbb {E} [Y_{i}^{2}]\leq {\frac {1}{\epsilon ^{2}}}{\frac {8}{1-\alpha }}\sum _{m=0}^{\infty }{\frac {1}{m+1}}\int _{m}^{m+1}x^{2}dF(x)\leq {\frac {1}{\epsilon ^{2}}}{\frac {8}{1-\alpha }}\int _{0}^{\infty }xdF(x)={\frac {1}{\epsilon ^{2}}}{\frac {8}{1-\alpha }}E[X_{1}]<\infty }
.
Daher impliziert der Satz von Borel‒Cantelli , dass
fast sicher
lim
n
→
∞
|
S
k
n
∗
−
E
[
S
k
n
∗
]
k
n
|
=
0
{\displaystyle \lim _{n\to \infty }\left|{\frac {S_{k_{n}}^{*}-\mathbb {E} [S_{k_{n}}^{*}]}{k_{n}}}\right|=0}
.
Der Satz von der dominierten Konvergenz impliziert jedoch
lim
n
→
∞
E
[
Y
n
]
=
lim
n
→
∞
∫
0
n
x
d
F
(
x
)
=
E
[
X
1
]
{\displaystyle \lim _{n\to \infty }\mathbb {E} [Y_{n}]=\lim _{n\to \infty }\int _{0}^{n}xdF(x)=\mathbb {E} [X_{1}]}
.
Daher gilt
lim
n
→
∞
E
[
S
k
n
∗
]
k
n
=
E
[
X
1
]
{\displaystyle \lim _{n\to \infty }{\frac {\mathbb {E} [S_{k_{n}}^{*}]}{k_{n}}}=\mathbb {E} [X_{1}]}
,
denn es gilt ohnehin, dass
E
[
Y
i
]
≤
E
[
X
1
]
{\displaystyle \mathbb {E} [Y_{i}]\leq \mathbb {E} [X_{1}]}
und dementsprechend auch
E
[
S
m
∗
]
m
≤
E
[
X
1
]
{\displaystyle {\frac {\mathbb {E} [S_{m}^{*}]}{m}}\leq \mathbb {E} [X_{1}]}
für alle
m
∈
N
{\displaystyle m\in \mathbb {N} }
,
aber wir können für jedes
ϵ
>
0
{\displaystyle \epsilon >0}
ein
N
∈
N
{\displaystyle N\in \mathbb {N} }
wählen, sodass für alle
n
≥
N
{\displaystyle n\geq N}
E
[
Y
n
]
≥
E
[
X
]
−
ϵ
{\displaystyle \mathbb {E} [Y_{n}]\geq \mathbb {E} [X]-\epsilon }
gilt, dann ein
M
∈
N
{\displaystyle M\in \mathbb {N} }
mit
M
>
N
{\displaystyle M>N}
sodass
∑
k
=
1
N
E
[
Y
k
]
M
<
ϵ
{\displaystyle {\frac {\sum _{k=1}^{N}\mathbb {E} [Y_{k}]}{M}}<\epsilon }
,
und schließlich feststellen, dass für
n
≥
M
{\displaystyle n\geq M}
E
[
S
n
∗
]
n
≥
(
n
−
M
)
(
E
[
X
1
]
−
ϵ
)
n
−
ϵ
{\displaystyle {\frac {\mathbb {E} [S_{n}^{*}]}{n}}\geq {\frac {(n-M)(\mathbb {E} [X_{1}]-\epsilon )}{n}}-\epsilon }
.
Daraus schließen wir, dass
fast sicher
lim
n
→
∞
S
k
n
∗
k
n
=
E
[
X
1
]
{\displaystyle \lim _{n\to \infty }{\frac {S_{k_{n}}^{*}}{k_{n}}}=\mathbb {E} [X_{1}]}
.
Um auf das entsprechende Resultat für
S
n
{\displaystyle S_{n}}
schließen zu können, bemerken wir, dass
∑
n
=
1
∞
P
(
X
n
≠
Y
n
)
=
∑
n
=
1
∞
P
(
X
n
>
n
)
=
∑
n
=
1
∞
∫
n
∞
d
F
(
x
)
=
∑
n
=
1
∞
∑
k
=
n
∞
∫
k
k
+
1
d
F
(
x
)
=
∑
k
=
1
∞
k
∫
k
k
+
1
d
F
(
x
)
≤
∫
1
∞
x
d
F
(
x
)
≤
E
[
X
1
]
{\displaystyle {\begin{aligned}\sum _{n=1}^{\infty }\mathbb {P} (X_{n}\neq Y_{n})&=\sum _{n=1}^{\infty }\mathbb {P} (X_{n}>n)=\sum _{n=1}^{\infty }\int _{n}^{\infty }dF(x)=\sum _{n=1}^{\infty }\sum _{k=n}^{\infty }\int _{k}^{k+1}dF(x)\\&=\sum _{k=1}^{\infty }k\int _{k}^{k+1}dF(x)\leq \int _{1}^{\infty }xdF(x)\leq E[X_{1}]\end{aligned}}}
,
sodass
X
n
≠
Y
n
{\displaystyle X_{n}\neq Y_{n}}
fast sicher nur endlich oft vorkommt, woraus
lim
n
→
∞
S
k
n
∗
k
n
=
lim
n
→
∞
S
k
n
k
n
{\displaystyle \lim _{n\to \infty }{\frac {S_{k_{n}}^{*}}{k_{n}}}=\lim _{n\to \infty }{\frac {S_{k_{n}}}{k_{n}}}}
an fast allen Punkten folgt.
Es sei nun
m
∈
N
{\displaystyle m\in \mathbb {N} }
beliebig. Dann gilt
S
m
m
{\displaystyle {\frac {S_{m}}{m}}}
◻
{\displaystyle \Box }