Beweisarchiv: Stochastik: Wahrscheinlichkeitstheorie: Satz von Moivre-Laplace

Beweisarchiv: Stochastik

Statistik: Arithmetisches Mittel zweier Zahlen · Eindeutigkeit der Methode der kleinsten Fehlerquadrate

Wahrscheinlichkeitstheorie: Bernstein-Ungleichung · Satz von Moivre-Laplace · Approximationssatz von Stone-Weierstrass

Kombinatorik: Kombinatorische Eigenschaft des Binomialkoeffizienten

Satz von Moivre-Laplace

Sei $X_{1},X_{2},X_{3},\cdots$ eine Folge bernoulli-verteilter Zufallsvariablen und deren Summe $S_{n}$ binomialverteilt mit Parametern $n\in \mathbb {N}$, $p\in ]0,1[$ und $\sigma ^{2}=p(1-p)$. Dann gilt:

(1) $\quad \operatorname {P} \left(S_{n}=k\right)\;=\;B(k\mid p,n)\;\approx \;{\frac {1}{\sqrt {2\pi n\sigma ^{2}}}}\,\exp \left(-{\frac {n}{2\sigma ^{2}}}\left({\frac {k}{n}}-p\right)^{2}\right)$

(2) $\quad \lim _{n\to \infty }\operatorname {P} \left(x_{1}\leq {\frac {S_{n}-np}{\sqrt {n}}}\leq x_{2}\right)\;={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\int _{x_{1}}^{x_{2}}\exp \left(-{x^{2} \over 2\sigma ^{2}}\right)\mathrm {d} x$ für alle $x_{1},x_{2}\in \mathbb {R}$ mit $x_{1}<x_{2}$

Korollar

Sei $\varphi \colon \mathbb {R} \to \mathbb {R}$ definiert durch

$\varphi (x):={\frac {1}{2}}(x-\lfloor x\rfloor )(1-x+\lfloor x\rfloor ))\quad$ für alle $x\in \mathbb {R}$

und sei $n_{0},N\in \mathbb {N} _{0}$ und $f:[n_{0},N]\to \mathbb {C}$ zweimal stetig differenzierbar. Dann gilt

• $n_{0}=0,N=1$ $\quad \int _{0}^{1}f(x)\mathrm {d} x={\frac {1}{2}}{\bigg (}f(0)+f(1){\bigg )}-\int _{0}^{1}\varphi (x)f''(x)\mathrm {d} x\quad$ (Trapez-Regel)

• $n_{0}\leq N\quad \;$ $\qquad \int _{n_{0}}^{N}f(x)\mathrm {d} x=\sum _{k=n_{0}}^{N}f(k)-{\frac {1}{2}}{\bigg (}f(n_{0})+f(N){\bigg )}-\int _{n_{0}}^{N}\varphi (x)f''(x)\mathrm {d} x$

Hinweise:

$\lfloor x\rfloor$ bezeichnet die Abrundungsfunktion, mit der Eigenschaft $\lim _{\epsilon \to 0}\lfloor k-\epsilon \rfloor =k-1$ für alle $k\in \mathbb {N}$.

Es ist $|\varphi (x)|\leq {\tfrac {1}{8}}$ für alle $x\in \mathbb {R}$.

Beweis

• Die Aussage folgt durch zweimaliges partielles Integrieren, wobei $\varphi (x){\big |}_{x=0}=\varphi (x){\big |}_{x=1}=0$ und $\varphi '(x)={\tfrac {1}{2}}(1-2x+2\lfloor x\rfloor )$ sowie $\varphi ''(x)=-1$.

${\begin{aligned}\int \limits _{0}^{1}f(x)\mathrm {d} x&=-\int \limits _{0}^{1}\varphi ''(x)f(x)\mathrm {d} x\\&=-\lim _{\epsilon \to 0}{\bigg [}\varphi '(x)f(x){\bigg ]}_{0}^{1-\epsilon }+\;\lim _{\epsilon \to 0}\int \limits _{0}^{1-\epsilon }\varphi '(x)f'(x)\mathrm {d} x\\&=-\lim _{\epsilon \to 0}{\bigg (}{\bigg .}\varphi '(x){\bigg |}_{x=1-\epsilon }f(1-\epsilon )-\varphi '(0)f(0){\bigg )}\;+\;\lim _{\epsilon \to 0}\int \limits _{0}^{1-\epsilon }\varphi '(x)f'(x)\mathrm {d} x\\&=-\lim _{\epsilon \to 0}{\bigg (}{\frac {1}{2}}{\Big (}1-2(1-\epsilon )+0{\Big )}f(1-\epsilon )-{\frac {1}{2}}f(0){\bigg )}\;+\;\lim _{\epsilon \to 0}\int \limits _{0}^{1-\epsilon }\varphi '(x)f'(x)\mathrm {d} x\\&=-\lim _{\epsilon \to 0}{\bigg (}{\frac {1}{2}}(2\epsilon -1)f(1-\epsilon )-{\frac {1}{2}}f(0){\bigg )}\;+\;\lim _{\epsilon \to 0}\int \limits _{0}^{1-\epsilon }\varphi '(x)f'(x)\mathrm {d} x\\&={\frac {1}{2}}{\bigg (}f(0)+f(1){\bigg )}\;+\;\lim _{\epsilon \to 0}\int \limits _{0}^{1-\epsilon }\varphi '(x)f'(x)\mathrm {d} x\\&={\frac {1}{2}}{\bigg (}f(0)+f(1){\bigg )}\;+\;\lim _{\epsilon \to 0}{\Bigg (}{\bigg [}\varphi (x)f'(x){\bigg ]}_{0}^{1-\epsilon }\;-\;\int \limits _{0}^{1-\epsilon }\varphi (x)f''(x)\mathrm {d} x{\Bigg )}\\&={\frac {1}{2}}{\bigg (}f(0)+f(1){\bigg )}\;-\;\lim _{\epsilon \to 0}\;\int \limits _{0}^{1-\epsilon }\varphi (x)f''(x)\mathrm {d} x\\&={\frac {1}{2}}{\bigg (}f(0)+f(1){\bigg )}\;-\;\int \limits _{0}^{1}\varphi (x)f''(x)\mathrm {d} x\end{aligned}}$

• Da $\varphi (x)$ periodisch ist, übertragen sich die obigen Eigenschaften von $\varphi (x){\bigg .}{\bigg |}_{0\leq x\leq 1}$ auf $\varphi (x)=\sum _{k=n_{0}}^{N}\varphi (x){\bigg .}{\bigg |}_{k\leq x\leq k+1}$.

${\begin{aligned}\int \limits _{n_{0}}^{N}f(x)\mathrm {d} x&=-\int \limits _{n_{0}}^{N}\varphi ''(x)f(x)\mathrm {d} x\\&=-\lim _{\epsilon \to 0}\sum _{k=n_{0}}^{N-1}{\bigg [}\varphi '(x)f(x){\bigg ]}_{k}^{k+1-\epsilon }+\;\lim _{\epsilon \to 0}\sum _{k=n_{0}}^{N-1}\int \limits _{k}^{k+1-\epsilon }\varphi '(x)f'(x)\mathrm {d} x\\&=-\lim _{\epsilon \to 0}\sum _{k=n_{0}}^{N-1}{\bigg (}{\bigg .}\varphi '(x){\bigg |}_{x=k+1-\epsilon }\cdot f(k+1-\epsilon )-\varphi '(k)f(k){\bigg )}\;+\;\lim _{\epsilon \to 0}\sum _{k=n_{0}}^{N-1}\int \limits _{k}^{k+1-\epsilon }\varphi '(x)f'(x)\mathrm {d} x\\&=-\lim _{\epsilon \to 0}\sum _{k=n_{0}}^{N-1}{\bigg (}{\frac {1}{2}}{\Big (}1-2(k+1-\epsilon )+2k{\Big )}f(k+1-\epsilon )-{\frac {1}{2}}f(k){\bigg )}\;+\;\lim _{\epsilon \to 0}\sum _{k=n_{0}}^{N-1}\int \limits _{k}^{k+1-\epsilon }\varphi '(x)f'(x)\mathrm {d} x\\&=-\lim _{\epsilon \to 0}\sum _{k=n_{0}}^{N-1}{\bigg (}{\frac {1}{2}}(2\epsilon -1)f(k+1-\epsilon )-{\frac {1}{2}}f(k){\bigg )}\;+\;\lim _{\epsilon \to 0}\sum _{k=n_{0}}^{N-1}\int \limits _{k}^{k+1-\epsilon }\varphi '(x)f'(x)\mathrm {d} x\\&=\sum _{k=n_{0}}^{N-1}{\bigg (}{\frac {1}{2}}f(k+1)+{\frac {1}{2}}f(k){\bigg )}\;+\;\lim _{\epsilon \to 0}\sum _{k=n_{0}}^{N-1}\int \limits _{k}^{k+1-\epsilon }\varphi '(x)f'(x)\mathrm {d} x\\&=\sum _{k=n_{0}-1}^{N-1}{\frac {1}{2}}f(k+1)-{\frac {1}{2}}f(n_{0})+\sum _{k=n_{0}}^{N}{\frac {1}{2}}f(k)-{\frac {1}{2}}f(N)\;+\;\lim _{\epsilon \to 0}\sum _{k=n_{0}}^{N-1}\int \limits _{k}^{k+1-\epsilon }\varphi '(x)f'(x)\mathrm {d} x\\&=\sum _{k=n_{0}}^{N}{\frac {1}{2}}f(k)-{\frac {1}{2}}f(n_{0})+\sum _{k=n_{0}}^{N}{\frac {1}{2}}f(k)-{\frac {1}{2}}f(N)\;+\;\lim _{\epsilon \to 0}\sum _{k=n_{0}}^{N-1}\int \limits _{k}^{k+1-\epsilon }\varphi '(x)f'(x)\mathrm {d} x\\&=\sum _{k=n_{0}}^{N}f(k)-{\frac {1}{2}}{\bigg (}f(n_{0})+f(N){\bigg )}\;+\;\lim _{\epsilon \to 0}\sum _{k=n_{0}}^{N-1}\int \limits _{k}^{k+1-\epsilon }\varphi '(x)f'(x)\mathrm {d} x\\&=\sum _{k=n_{0}}^{N}f(k)-{\frac {1}{2}}{\bigg (}f(n_{0})+f(N){\bigg )}\;+\;\lim _{\epsilon \to 0}\sum _{k=n_{0}}^{N-1}{\Bigg (}{\bigg [}\varphi (x)f'(x){\bigg ]}_{0}^{1-\epsilon }\;-\;\int \limits _{k}^{k+1-\epsilon }\varphi (x)f''(x)\mathrm {d} x{\Bigg )}\\&=\sum _{k=n_{0}}^{N}f(k)-{\frac {1}{2}}{\bigg (}f(n_{0})+f(N){\bigg )}\;-\;\lim _{\epsilon \to 0}\;\sum _{k=n_{0}}^{N-1}\int \limits _{k}^{k+1-\epsilon }\varphi (x)f''(x)\mathrm {d} x\\&=\sum _{k=n_{0}}^{N}f(k)-{\frac {1}{2}}{\bigg (}f(n_{0})+f(N){\bigg )}\;-\;\int \limits _{n_{0}}^{N}\varphi (x)f''(x)\mathrm {d} x\end{aligned}}$

$\Box$

Stirlingformel

Definition

Nach Gauß lässt sich die Gammafunktion $\Gamma (x)$ für alle $x\in \mathbb {C} \setminus \{0,-1,-2,\dotsc \}$ und alle $n\in \mathbb {N} _{0}$ durch eine Produktdarstellung definieren

$\Gamma (x)=\lim _{n\to \infty }{\frac {n!\,n^{x}}{x(x+1)(x+2)\dotsm (x+n)}}$.

Bemerkungen:

• Es gilt $n!=\Gamma (n+1)=n\Gamma (n)$.
• Die Stirlingformel lautet $n!=\lim _{n\to \infty }\left({\sqrt {2\pi n}}\;\left({\tfrac {n}{\mathrm {e} }}\right)^{n}+\epsilon _{n}\right)$
• Nachfolgend wird das Näherungszeichen "$\approx$" verwendet, wenn eine Approximation durchgeführt wird. Ein Gleichheitszeichen "$=$" wird gesetzt, wenn eine Umformung erfolgt.

Satz (Stirling-Formel und Gammafunktion)

In der Halbebene $\operatorname {Re} (x)>0$ gilt

$\log \Gamma (x)=(x-{\tfrac {1}{2}})\log x-x+\log {\sqrt {2\pi }}+{\mathcal {O}}{\Big (}{\tfrac {1}{|x|}}{\Big )}$.

Dabei ist $\log x$ der Hauptzweig des Logarithmus (der reell ist für positive reelle $x$) und ebenso ist $\log \Gamma (x)$ reell für positive reelle $x>0$.

Beweis

Nach Gauß ist

$\Gamma (x)=\lim _{n\to \infty }{\frac {n!\,n^{x}}{x(x+1)(x+2)\dotsm (x+n)}}$

also

$\log \Gamma (x)=\lim _{n\to \infty }{\bigg (}\log n!+x\log n-\sum _{k=0}^{n}\log(x+k){\bigg )}$

Die Anwendung des Korollars ergibt für ein festes und beliebiges $x$ mit ${\bigg .}{\tfrac {\mathrm {d} ^{2}f(t)}{\mathrm {d} t^{2}}}{\bigg |}_{t=k}={\bigg .}{\tfrac {\mathrm {d} ^{2}\log(x+t)}{\mathrm {d} t^{2}}}{\bigg |}_{t=k}={\tfrac {1}{(x+t)^{2}}}$ und nach Umformung $\sum _{k=0}^{n}\log(x+k)=\int _{0}^{n}\log(x+t)\mathrm {d} t+{\frac {1}{2}}{\bigg (}\log x+\log(x+n){\bigg )}\;+\;\int _{0}^{n}\varphi (t){\tfrac {1}{(x+t)^{2}}}\mathrm {d} t$ und somit

$\log \Gamma (x)=\lim _{n\to \infty }{\bigg (}\log n!+x\log n-\int \limits _{0}^{n}\log(x+t)\mathrm {d} t-{\frac {1}{2}}{\Big (}\log x+\log(x+n){\Big )}-\int \limits _{0}^{n}\varphi (t){\frac {1}{(x+t)^{2}}}\mathrm {d} t{\bigg )}$

Wegen ${\big |}\varphi (t){\big |}\leq {\tfrac {1}{8}}$ ergibt sich ${\bigg |}\int _{0}^{n}\varphi (t){\tfrac {1}{(x+t)^{2}}}\mathrm {d} t{\bigg |}\leq {\tfrac {1}{8}}{\bigg |}\int _{0}^{n}{\tfrac {1}{(x+t)^{2}}}\mathrm {d} t{\bigg |}$ und wegen ${\tfrac {1}{8}}{\bigg |}\int _{0}^{n}{\tfrac {1}{(x+t)^{2}}}\mathrm {d} t{\bigg |}={\tfrac {1}{8}}{\bigg |}{\bigg [}{\tfrac {-1}{x+t}}{\bigg ]}_{0}^{n}{\bigg |}={\tfrac {1}{8}}{\bigg |}{\tfrac {-1}{x+n}}-{\tfrac {-1}{x}}{\bigg |}={\tfrac {1}{8}}{\bigg |}{\tfrac {-x-n+x}{-x(x+n)}}{\bigg |}={\tfrac {1}{8}}{\bigg |}{\tfrac {1}{x({\tfrac {x}{n}}+1)}}{\bigg |}\leq {\tfrac {1}{8}}{\tfrac {1}{|x|}}\approx {\mathcal {O}}{\Big (}{\tfrac {1}{|x|}}{\Big )}$ ist die Näherung ${\bigg |}\int _{0}^{n}\varphi (t){\tfrac {1}{(x+t)^{2}}}\mathrm {d} t{\bigg |}\approx {\mathcal {O}}{\Big (}{\tfrac {1}{|x|}}{\Big )}$ zulässig. Unter Auslassung des Fehlerterms ${\mathcal {O}}{\Big (}{\tfrac {1}{|x|}}{\Big )}$ der Approximation folgt

$\log \Gamma (x)=\lim _{n\to \infty }{\bigg (}\log n!+x\log n-\int \limits _{0}^{n}\log(x+t)\mathrm {d} t-{\frac {1}{2}}{\Big (}\log x+\log(x+n){\Big )}{\bigg )}$

Partielle Integration liefert $\int _{0}^{n}\log(x+t)\mathrm {d} t={\Big [}(x+t)\log(x+t)-1{\Big ]}_{0}^{n}=(x+n)\log(x+n)-x\log x+C$. Da die Integrationskonstante o.B.d.A. gewählt werden kann, sei $C=-n$ und damit

${\begin{aligned}\log \Gamma (x)&=\lim _{n\to \infty }{\bigg (}\log n!+x\log n-{\Big (}x+n{\Big )}\log(x+n)+x\log x+n-{\frac {1}{2}}{\Big (}\log x+\log(x+n){\Big )}{\bigg )}\\&=\lim _{n\to \infty }{\bigg (}\log n!+x\log n-{\Big (}x+n+{\frac {1}{2}}{\Big )}\log(x+n)+{\Big (}x-{\frac {1}{2}}{\Big )}\log x+n{\bigg )}\end{aligned}}$

Es wird ein indirekter Beweis mit der Stirling-Formel $n!=\lim _{n\to \infty }\left({\sqrt {2\pi n}}\;\left({\tfrac {n}{\mathrm {e} }}\right)^{n}+\epsilon _{n}\right)$, $\log e=1$ und $\log \epsilon _{n}=\epsilon _{n}'$ durchgeführt, wobei $\log n!=\lim _{n\to \infty }\left((n+{\tfrac {1}{2}})\log n-n+\log {\sqrt {2\pi }}+\epsilon _{n}'\right)$ ist und damit

${\begin{aligned}\log \Gamma (x)&=\lim _{n\to \infty }{\bigg (}{\Big (}n+{\frac {1}{2}}{\Big )}\log n-n+x\log n-{\Big (}x+n+{\frac {1}{2}}{\Big )}\log(x+n)+{\Big (}x-{\frac {1}{2}}{\Big )}\log x+n+\epsilon _{n}'{\bigg )}+\log {\sqrt {2\pi }}\\&=\lim _{n\to \infty }{\bigg (}{\Big (}x+n+{\frac {1}{2}}{\Big )}\log n-{\Big (}x+n+{\frac {1}{2}}{\Big )}\log(x+n)+\epsilon _{n}'{\bigg )}+{\Big (}x-{\frac {1}{2}}{\Big )}\log x+\log {\sqrt {2\pi }}\end{aligned}}$

Nun ist $\log(x+n)=\log(n(1+{\tfrac {x}{n}}))=\log n+\log(1+{\tfrac {x}{n}})$ und für festes $x$ und grosses $n$ gilt $\log(1+{\tfrac {x}{n}})\approx {\tfrac {x}{n}}+{\mathcal {O}}{\Big (}{\tfrac {1}{n^{2}}}{\Big )}$. Unter Auslassung des Fehlerterms ${\mathcal {O}}{\Big (}{\tfrac {1}{n^{2}}}{\Big )}$ erhalten wir mit $\log(x+n)=\log n+{\tfrac {x}{n}}$

${\begin{aligned}\log \Gamma (x)&=\log {\sqrt {2\pi }}+{\Big (}x-{\frac {1}{2}}{\Big )}\log x+\lim _{n\to \infty }{\bigg (}{\Big (}x+n+{\frac {1}{2}}{\Big )}\log n-{\Big (}x+n+{\frac {1}{2}}{\Big )}{\Big (}\log n+{\frac {x}{n}}{\Big )}+\epsilon _{n}'{\bigg )}\\&=\log {\sqrt {2\pi }}+{\Big (}x-{\frac {1}{2}}{\Big )}\log x+\lim _{n\to \infty }{\bigg (}-{\frac {x}{n}}(x+n+{\frac {1}{2}})+\epsilon _{n}'{\bigg )}\\&=\log {\sqrt {2\pi }}+{\Big (}x-{\frac {1}{2}}{\Big )}\log x-x\end{aligned}}$

$\Box$

An dieser Stelle sei erwähnt, dass diese Näherung für $x\geq 9$ mit einem relativen Fehler von kleiner als $1\%$ behaftet ist.

Für die weitere Beweisführung seien folgende Umformungen angegeben:

$\Gamma (x)\approx {\sqrt {2\pi }}x^{{\Big (}x-{\frac {1}{2}}{\Big )}}e^{-x}$

und wegen $n!=\Gamma (n+1)=n\Gamma (n)$ folgt

$n!=n\Gamma (n)\approx n{\sqrt {2\pi }}n^{{\Big (}n-{\tfrac {1}{2}}{\Big )}}e^{-n}={\sqrt {2\pi n}}{\bigg (}{\frac {n}{e}}{\bigg )}^{n}=n^{n}e^{-n}{\sqrt {2\pi n}}$

Beweis (1)

Der Beweis wird in zwei Schritten durchgeführt.

Schritt 1

Zunächst wird gezeigt:

$B(k\mid p,n)\approx {\frac {n^{n}e^{-n}{\sqrt {2\pi n}}}{k^{k}e^{-k}{\sqrt {2\pi k}}(n-k)^{n-k}e^{-(n-k)}{\sqrt {2\pi (n-k)}}}}p^{k}(1-p)^{n-k}$

Dazu werden mit Hilfe der Stirlingformel die Fakultäten ersetzt, also folgende Näherungen vorgenommen:

• $n!\approx {\sqrt {2\pi n}}\left({\frac {n}{e}}\right)^{n}=n^{n}e^{-n}{\sqrt {2\pi n}}$
• $k!\approx {\sqrt {2\pi k}}\left({\frac {k}{e}}\right)^{k}=k^{k}e^{-k}{\sqrt {2\pi k}}$
• $(n-k)!\approx {\sqrt {2\pi (n-k)}}\left({\frac {n-k}{e}}\right)^{n-k}=(n-k)^{n-k}e^{-(n-k)}{\sqrt {2\pi (n-k)}}$

Damit lässt sich die Binomialverteilung wie folgt ausdrücken:

${\begin{aligned}B(k\mid p,n)&={n \choose k}p^{k}(1-p)^{n-k}\\&={\frac {n!}{k!(n-k)!}}p^{k}(1-p)^{n-k}\\&\approx {\frac {n^{n}e^{-n}{\sqrt {2\pi n}}}{k^{k}e^{-k}{\sqrt {2\pi k}}(n-k)^{n-k}e^{-(n-k)}{\sqrt {2\pi (n-k)}}}}p^{k}(1-p)^{n-k}\\&={\sqrt {\frac {n}{2\pi k\left(n-k\right)}}}{\frac {n^{n}}{k^{k}\left(n-k\right)^{n-k}}}p^{k}(1-p)^{n-k}\\&={\sqrt {\frac {n}{2\pi k\left(n-k\right)}}}\left({\frac {np}{k}}\right)^{k}\left({\frac {n(1-p)}{n-k}}\right)^{n-k}\\&={\frac {1}{\sqrt {2\pi n{\frac {k}{n}}\left(1-{\frac {k}{n}}\right)}}}\left({\frac {np}{k}}\right)^{k}\left({\frac {n(1-p)}{n-k}}\right)^{n-k}\end{aligned}}$

Schritt 2

Mit der Näherung ${\frac {k}{n}}\approx p$ und der Taylorapproximation wird gezeigt:

$B(k\mid p,n)\approx {\frac {1}{\sqrt {2\pi n{\frac {k}{n}}\left(1-{\frac {k}{n}}\right)}}}\left({\frac {np}{k}}\right)^{k}\left({\frac {n(1-p)}{n-k}}\right)^{n-k}\approx {\frac {1}{\sqrt {2\pi n\sigma ^{2}}}}\exp \left(-{\frac {n}{2\sigma ^{2}}}\left({\frac {k}{n}}-p\right)^{2}\right)$

Für hinreichend großes $n\gg k$ kann die Näherung ${\frac {k}{n}}\approx p$ verwendet werden, woraus unmittelbar folgt ${\frac {1}{\sqrt {2\pi n{\frac {k}{n}}\left(1-{\frac {k}{n}}\right)}}}\approx {\frac {1}{\sqrt {2\pi np(1-p)}}}={\frac {1}{\sqrt {2\pi n\sigma ^{2}}}}$.

Damit erhalten wir die gewünschte Darstellung und formen die beiden Potenzen in exponentielle Faktoren um, so dass:

${\begin{aligned}B(k\mid p,n)&\approx {\frac {1}{\sqrt {2\pi n\sigma ^{2}}}}\left({\frac {np}{k}}\right)^{k}\left({\frac {n(1-p)}{n-k}}\right)^{n-k}\\&={\frac {1}{\sqrt {2\pi n\sigma ^{2}}}}\left({\frac {p}{k/n}}\right)^{k}\left({\frac {(1-p)}{1-k/n}}\right)^{n-k}\\&={\frac {1}{\sqrt {2\pi n\sigma ^{2}}}}\exp \left({\frac {n}{n}}\log \left(\left({\frac {p}{k/n}}\right)^{k}\left({\frac {1-p}{1-k/n}}\right)^{n-k}\right)\right)\\&={\frac {1}{\sqrt {2\pi n\sigma ^{2}}}}\exp \left({\frac {n}{n}}\log \left(\left({\frac {k/n}{p}}\right)^{-k}\left({\frac {1-k/n}{1-p}}\right)^{-(n-k)}\right)\right)\\&={\frac {1}{\sqrt {2\pi n\sigma ^{2}}}}\exp {\Bigg (}n{\bigg (}-\underbrace {{\frac {k}{n}}\log \left({\frac {k/n}{p}}\right)} _{f(x)}-\underbrace {\left(1-{\frac {k}{n}}\right)\log \left({\frac {1-k/n}{1-p}}\right)} _{g(x)}{\bigg )}{\Bigg )}\end{aligned}}$

Um die Asymptotik der beiden exponentiellen Faktoren zu erhalten, bilden wir die Taylorapproximation in der Annäherung durch die Schmiegparabel. Wir erhalten mit $x={\frac {k}{n}}$ für die Funktionen $f(x)=x\ln {\frac {x}{p}}$ und $g(x)=(1-x)\ln {\frac {1-x}{1-p}}$, um den Entwicklungspunkt $x=p$, folgende Schmiegparabeln:

${\begin{aligned}T_{2}f(x,p)&=\left.\left(x\ln {\frac {x}{p}}\right)\right|_{x=p}+\left.{\frac {\mathrm {d} }{\mathrm {d} x}}\left(x\ln {\frac {x}{p}}\right)\right|_{x=p}\cdot (x-p)+\left.{\frac {1}{2}}{\frac {\mathrm {d} ^{2}}{\mathrm {d} x^{2}}}\left(x\ln {\frac {x}{p}}\right)\right|_{x=p}\cdot (x-p)^{2}\\&=\left.\left(\ln {\frac {x}{p}}+x\cdot {\frac {p}{x}}\cdot {\frac {1}{p}}\right)\right|_{x=p}\cdot (x-p)+\left.{\frac {1}{2}}{\frac {\mathrm {d} }{\mathrm {d} x}}\left(\ln {\frac {x}{p}}+1\right)\right|_{x=p}\cdot (x-p)^{2}\\&=x-p+\left.{\frac {1}{2}}\left({\frac {p}{x}}\cdot {\frac {1}{p}}\right)\right|_{x=p}\cdot (x-p)^{2}\\&=x-p+{\frac {1}{2p}}\cdot (x-p)^{2}\end{aligned}}$

und

${\begin{aligned}T_{2}g(x,p)&=\left.\left((1-x)\ln {\frac {1-x}{1-p}}\right)\right|_{x=p}+\left.{\frac {\mathrm {d} }{\mathrm {d} x}}\left((1-x)\ln {\frac {1-x}{1-p}}\right)\right|_{x=p}\cdot (x-p)+\left.{\frac {1}{2}}{\frac {\mathrm {d} ^{2}}{\mathrm {d} x^{2}}}\left((1-x)\ln {\frac {1-x}{1-p}}\right)\right|_{x=p}\cdot (x-p)^{2}\\&=\left.\left(-\ln {\frac {1-x}{1-p}}+(1-x)\cdot {\frac {1-p}{1-x}}\cdot {\frac {-1}{1-p}}\right)\right|_{x=p}\cdot (x-p)+\left.{\frac {1}{2}}{\frac {\mathrm {d} }{\mathrm {d} x}}\left(-\ln {\frac {1-x}{1-p}}-1\right)\right|_{x=p}\cdot (x-p)^{2}\\&=-(x-p)-\left.{\frac {1}{2}}\left({\frac {1-p}{1-x}}\cdot {\frac {-1}{1-p}}\right)\right|_{x=p}\cdot (x-p)^{2}\\&=-(x-p)+{\frac {1}{2(1-p)}}\cdot (x-p)^{2}\end{aligned}}$

Bemerkungen: zu beachten ist ${\frac {\mathrm {d} }{\mathrm {d} x}}\ln h(x)={\frac {h'(x)}{h(x)}}$ und der Fehler dieser Näherung wird durch das Integralrestglied $R_{2}f(x,p)$ bzw. $R_{2}g(x,p)$ repräsentiert.

Die Zusammenfassung beider Taylorapproximationen liefert dann mit $\sigma ^{2}=p(1-p)$ und unter Auslassung der Restglieder: ${\begin{aligned}T_{2}f(x,p)+T_{2}g(x,p)&=x-p+{\frac {1}{2p}}\cdot (x-p)^{2}-(x-p)+{\frac {1}{2(1-p)}}\cdot (x-p)^{2}\\&={\frac {1}{2p}}\cdot (x-p)^{2}+{\frac {1}{2(1-p)}}\cdot (x-p)^{2}\\&={\frac {1-p+p}{2p(1-p)}}\cdot (x-p)^{2}\\&={\frac {1}{2p(1-p)}}\cdot (x-p)^{2}\\&={\frac {1}{2\sigma ^{2}}}\cdot (x-p)^{2}\end{aligned}}$

Insgesamt ergibt sich mit den unterschiedlichen Näherungen die Eingangs zitierte Aussage:

$B(k\mid p,n)\approx {\frac {1}{\sqrt {2\pi n{\frac {k}{n}}\left(1-{\frac {k}{n}}\right)}}}\left({\frac {np}{k}}\right)^{k}\left({\frac {n(1-p)}{n-k}}\right)^{n-k}\;\approx \;{\frac {1}{\sqrt {2\pi n\sigma ^{2}}}}\exp \left(-{\frac {n}{2\sigma ^{2}}}\left({\frac {k}{n}}-p\right)^{2}\right)$

$\Box$

Beweis (2)

Gezeigt wird, dass aus dem lokalen Grenzwertsatz im Limes $n\rightarrow \infty$ und der Riemann-Summe folgt:

$\operatorname {P} \left(x_{1}\leq {\frac {S_{n}-np}{\sqrt {n}}}\leq x_{2}\right)\;={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\int _{x_{1}}^{x_{2}}\exp \left(-{x^{2} \over 2\sigma ^{2}}\right)\mathrm {d} x$ für alle $x_{1},x_{2}\in \mathbb {R}$ mit $x_{1}<x_{2}$

Schritt 1

Zunächst folgt mit dem lokalen Grenzwertsatz:

$\operatorname {P} \left(x_{1}\leq {\frac {S_{n}-np}{\sqrt {n}}}\leq x_{2}\right)\;=\sum _{k\in \{0,1\ldots ,n\} \atop x_{1}\leq {\frac {k-np}{\sqrt {n}}}\leq x_{2}}\operatorname {P} \left(S_{n}=k\right)\;=\sum _{k\in \{0,1\ldots ,n\} \atop x_{1}\leq {\frac {k-np}{\sqrt {n}}}\leq x_{2}}{\frac {1}{\sqrt {2\pi n\sigma ^{2}}}}\,\exp \left(-{\frac {n}{2\sigma ^{2}}}\left({\frac {k}{n}}-p\right)^{2}\right)\cdot (1+\epsilon _{n,p}(k))$

wobei $\lim _{n\to \infty }\epsilon _{n,p}(k)=\;0$.

Setzen wir nun ${\bar {\epsilon }}_{n,p}:=\sup _{k\in \{0,1\ldots ,n\} \atop x_{1}\leq {\frac {k-np}{\sqrt {n}}}\leq x_{2}}|\epsilon _{n,p}(k)|$ so ergibt sich:

$\sum _{k\in \{0,1\ldots ,n\} \atop x_{1}\leq {\frac {k-np}{\sqrt {n}}}\leq x_{2}}{\frac {1}{\sqrt {2\pi n\sigma ^{2}}}}\,\exp \left(-{\frac {n}{2\sigma ^{2}}}\left({\frac {k}{n}}-p\right)^{2}\right)\cdot \epsilon _{n,p}(k))\;\leq \;{\bar {\epsilon }}_{n,p}\cdot \sum _{k\in \{0,1\ldots ,n\} \atop x_{1}\leq {\frac {k-np}{\sqrt {n}}}\leq x_{2}}{\frac {1}{\sqrt {2\pi n\sigma ^{2}}}}\,\exp \left(-{\frac {n}{2\sigma ^{2}}}\left({\frac {k}{n}}-p\right)^{2}\right)$

und im Limes $n\to \infty$ folgt:

$\lim _{n\to \infty }\;\underbrace {\quad \epsilon _{n,p}\quad } _{\to 0}\cdot \underbrace {\sum _{k\in \{0,1\ldots ,n\} \atop x_{1}\leq {\frac {k-np}{\sqrt {n}}}\leq x_{2}}{\frac {1}{\sqrt {2\pi n\sigma ^{2}}}}\,\exp \left(-{\frac {n}{2\sigma ^{2}}}\left({\frac {k}{n}}-p\right)^{2}\right)} _{\to \int _{a}^{b}\ldots <\infty }=0$

Und daher gilt im Limes $n\to \infty$:

$\operatorname {P} \left(x_{1}\leq {\frac {S_{n}-np}{\sqrt {n}}}\leq x_{2}\right)\;=\;\sum _{k\in \{0,1\ldots ,n\} \atop x_{1}\leq {\frac {k-np}{\sqrt {n}}}\leq x_{2}}{\frac {1}{\sqrt {2\pi n\sigma ^{2}}}}\,\exp \left(-{\frac {n}{2\sigma ^{2}}}\left({\frac {k}{n}}-p\right)^{2}\right)$

Schritt 2

Im Folgenden wird für die Riemann-Summe die Integraldarstellung gezeigt:

$\lim _{n\to \infty }\sum _{k\in \{0,1\ldots ,n\} \atop x_{1}\leq {\frac {k-np}{\sqrt {n}}}\leq x_{2}}{\frac {1}{\sqrt {2\pi n\sigma ^{2}}}}\,\exp \left(-{\frac {n}{2\sigma ^{2}}}\left({\frac {k}{n}}-p\right)^{2}\right)\;=\;{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\int _{x_{1}}^{x_{2}}\exp \left(-{x^{2} \over 2\sigma ^{2}}\right)\mathrm {d} x$

Wir bilden ein äquidistantes Gitter $\Gamma _{n}:=\left\{\left.{\tfrac {k-np}{\sqrt {n}}}\right|\,k=0,1,\ldots ,n\right\}\subseteq \mathrm {R}$ der Maschenweite ${\frac {1}{\sqrt {n}}}$ und können somit die Riemann-Summe in ein Riemannintegral überführen:

${\begin{aligned}\lim _{n\to \infty }\sum _{k\in \{0,1\ldots ,n\} \atop x_{1}\leq {\frac {k-np}{\sqrt {n}}}\leq x_{2}}{\frac {1}{\sqrt {2\pi n\sigma ^{2}}}}\,\exp \left(-{\frac {n}{2\sigma ^{2}}}\left({\frac {k}{n}}-p\right)^{2}\right)\;&=\;\lim _{n\to \infty }\sum _{x\in \Gamma _{n} \atop x_{1}\leq x\leq x_{2}}{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\,\exp \left(-{\frac {n}{2\sigma ^{2}}}\left({\frac {k-np}{n}}\right)^{2}\right)\cdot {\frac {1}{\sqrt {n}}}\;\\&=\;{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\int _{x_{1}}^{x_{2}}\exp \left(-{x^{2} \over 2\sigma ^{2}}\right)\mathrm {d} x\end{aligned}}$

Unter Verwendung der Ergebnisse aus Schritt 1 und Schritt 2 folgt die eingangs formulierte Behauptung:

$\quad \lim _{n\to \infty }\operatorname {P} \left(x_{1}\leq {\frac {S_{n}-np}{\sqrt {n}}}\leq x_{2}\right)\;=\;{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\int _{x_{1}}^{x_{2}}\exp \left(-{x^{2} \over 2\sigma ^{2}}\right)\mathrm {d} x$ für alle $x_{1},x_{2}\in \mathbb {R}$ mit $x_{1}<x_{2}$

$\Box$

Wikipedia-Verweis

• Satz von Moivre-Laplace