Mathematik: Wahrscheinlichkeitstheorie: Allgemeine Theorie: Grundlagen

Grundlagen der Wahrscheinlichkeitstheorie

Zufallsexperiment

Ein Zufallsexperiment oder Zufallsvorgang ist ein Vorgang in dem man unter ziemlich genaue Bedingungen eine Beobachtung machen wird, aber im Prinzip zuvor unbekannt ist mit dem Ergebnis. Wiederholt man den Vorgang unter derselbe Bedingungen wie zuvor, dann findet man trotzdem meistens ein anderes Ergebnis. Wohl aber weiß man zuvor was alles möglich ist, d.h. man kennt die mögliche Ergebnisse. Diese mögliche Ergebnisse fasst man zusammen in einer Menge: die Ergebnismenge Ω.

Ergebnis und Ergebnisraum

Definition

Die Menge aller möglichen Ergebnisse eines Zufallsexperiments ist eine nicht-leere Menge $\Omega$, Ergebnisraum, oder Ergebnismenge, genannt.

Die Elemente des Ergebnisraums $\Omega$ heißen Ergebnisse des Experiments.

Manche Zufallsexperimente haben nur endlich viele Ergebnisse. Es gibt aber auch Zufallsexperimente mit abzählbar unendlich vielen Ergebnissen und auch mit überabzählbar unendliche vielen.

Beispiel

Beim Würfeln mit einem Würfel können nur endlich viele Ergebnisse auftreten, nämlich die Augenzahlen 1, 2, 3, 4, 5 und 6. Der Ergebisraum ist also:

$\!\Omega = \{1,2,3,4,5,6\} ,$

ein endlicher Ergebnisraum.

Beispiel

Ich würfele mit einem Würfel so lange bis die Augenzahl 6 oben liegt. Das könnte schon beim ersten Wurf der Fall sein, aber auch sehr lange dauern. Der Ergebnisraam besteht aus die natürliche Zahlen, ausser 0, und ist deshalb abzählbar unendlich:

$\!\Omega = \{1,2,3, \dots \}=\N\setminus\{0\} .$

Beispiel

Um bestimmte Simulationen durchzuführen braucht man willkürlich gewählte Zahlen mit einem Wert zwischen 0 und 1. Ein Zufallszahlengenerator ist ein Verfahren der solche Zahlen produziert. Der Ergebnisraam ist ein Intervall in den reellen Zahlen, und deshalb überabzählbar unendlich:

$\!\Omega = (0,1) .$

Bemerkung

Häufig wird der Ergebnisraum mit dem Symbol $\Omega$ angedeutet. Es werden aber auch andere Symbole benutzt, wie S, von dem englische "sample space", und U, von "Universalmenge".

Ereignis

Oft ist man nicht interessiert in dem genaue Ergebnis des Zufallsexperiment, sondern möchte man wissen ob das Ereignis bestimmte Eigenschaften hat. Beim würfeln ist man z.B. daran interessiert ob das Ereignis eine gerade Zahl ist. Oder man möchte wissen ob mehr als 10 Würfe benötigt sind um das Augenzahl 6 zu würfeln. Oder ob das Ergebnis eines Zufallzahlengenerators für Zahlen zwischen 0 und 1, kleiner ist als 0,5. Es betrifft dann mehrere mögliche Ergebnisse, die zusammen eine Teilmenge des Ergebnisraums bilden. Solche Teilmengen nennt man Ereignisse.

Definition

Ein Ereignis ist eine Teilmenge des Ergebnisraums $\Omega$.

Ist auch jede beliebige Teilmenge von $\Omega$ ein Ereignis? In einfachen Fällen wäre es möglich jede Teilmenge als Ereignis zu betrachten. Aber mit überabzählbar unendlich viele Ergenisse führt das zu Schwierigkeiten im Bezug zu der Meßbarkeit der Ereignisse. Man möchte ja von der Wahrscheinlichkeit eines Ereignisses sprechen, und dazu muss ein Wahrscheinlichkeitsmaß fur Ereignissen definiert werden können,

Wahrscheinlichkeit

Es gibt zwei zentrale Begriffe in der Wahrscheinlichkeitstheorie: Ereignis und Maß. Das Ereignis ist ein möglicherweise fiktives und/oder zukünfiges und/oder unbekanntes Ergebnis eines Zufallsexperiments. Ein Zufallsexperiment liefert aus einer Menge von Ergebnissen eines. Das Ergebnis selber kann man aber nicht vorhersagen oder es ist (noch) unbekannt.

Beispiel:

Ich werfe eine Münze in die Luft und es fällt 'Zahl'. Dann ist das Ereignis 'Zahl' eingetreten. Fiktiv hätte aber auch 'Kopf' fallen können. Werfe ich die Münze und sie befindet sich noch in der Luft, wird entweder 'Kopf' oder 'Zahl' fallen. Eines der beiden zukünftigen Ereignisse wird eintreffen. Decke ich die Münze nach dem Fallen schnell ab, so dass nur ich sie sehen konnte und niemand sonst, so kenne ich zwar das Ergebnis, alle anderen jedoch nicht. Für mich ist ein Ergebnis, also Kopf oder Zahl, eingetreten. Für jeden anderen macht es keinen Unterschied, ob die Münze gefallen ist oder noch fallen wird – er kennt das Ereignis nicht. Ich könnte sogar die Münze hervorholen und noch einmal werfen. Die Bewertung ist für alle anderen immer diesselbe. Wie man sieht, hat Wahrscheinlichkeit auch etwas mit Information zu tun.

Mit dem Maß kann ich Ereignisse bewerten, d.h. jedem Ereignis eine Zahl zuordnen. Diese ist umso größer, je wahrscheinlicher der Eintritt des Ereignisses ist. Willkürlich legen wir fest, dass für das sichere Ereignis der Wert '1' zugewiesen wird. Das sichere Ereignis ist das Ereignis, das ich bekomme, wenn ich alle möglichen Ergebnisse vereinige.

Beispiel:

Das Ereignis 'Es fällt entweder Kopf oder Zahl' ist das sichere Ereignis, denn eine der beiden Münzseiten muss oben liegen.

An diesem Beispiel erkennen wir, dass das, was wir als Ereignis ansehen, von uns selber bestimmt wird. Ansonsten gilt das Zufallsexperiment als 'nicht durchgeführt'.

Beispiel:

Ich werfe die Münze und wie durch Wunder bleibt sie auf der Seite stehen. Es fällt weder Kopf noch Zahl. Dann gilt (für uns) das Experiment als nicht durchgeführt.

Grundsätzlich gibt es zwei unterschiedliche Wahrscheinlichkeitsbegriffe. Den frequentistischen und den bayesschen Wahrscheinlichkeitsbegriff. Beim frequentistischen führt man Experimente hinreichend häufig durch und führt eine Statistik. Je häufiger man dieses Experiment durchführt, desto kleiner werden die Abweichungen der relativen Häufigkeiten. Man nimmt jetzt axiomatisch an, dass es eine objektive Wahrscheinlichkeit gibt, die genau diese statistische Verteilung liefert, wenn man das Experiment beliebig häufig bzw. unendlich oft durchführt.

Der bayessche Wahrscheinlichkeitbegriff ist eher ein Maß für die persönliche Überzeugung, dass ein gewisses Ereignis eintritt. Wie haben oben den bayesschen Wahrscheinlichkeitsbegriff propagiert.

Mathematische Folgerungen aus der semiheuristischen Definition von Wahrscheinlichkeit

Ereignisse können auch nicht eintreten. Dann sagen wir, das Gegenereignis sei eingetreten.

Beispiel:

Wir würfeln und es fällt eine '6'. Dann ist das Ereignis '6' eingetreten. Fällt keine '6', so ist das Gegenereignis 'keine 6' eingetreten, d.h. der Würfel zeigt 1,2,3,4 oder 5.

Ebenso soll die Schnittmenge zweier Ereignisse auch wieder eine Ereignismenge sein.

Beispiel:

Das Ereignis 'Das Ergebnis ist gerade' und 'Das Ereignis ist größer als 4' sind zwei Ereignisse. Der Schnitt ist '6', denn nur '6' ist größer als '4' und gerade.

Es sollen auch abzählbar endlich viele Vereinigungen von Ereignissen wieder ein Ereignis sein. Identifizieren wir ein Ereignis mit einer Menge, so bekommen wir ein Mengen-System, das man $\sigma$-Algebra nennt.

σ-Algebra

Damit man richtig mit Ereignissen arbeiten kann, soll die Negation eines Ereignis, oder eine Kombination von Ereignissen wieder ein Ereignis sein. Das wird garantiert in einer σ-Algebra von Ereignissen.

Definition:

Eine $\sigma$-Algebra über eine Menge $\Omega$ ist ein System $\mathcal{A}$ von Teilmengen von $\Omega$, das die folgenden Axiome erfüllt:

1. $\Omega\in\mathcal{A}$
2. $A\in\mathcal{A}\Rightarrow \bar A\in\mathcal{A}$
3. $A_1,A_2,\dots \in\mathcal{A}\Rightarrow\cup_{n\in\mathbb{N}} A_n\in\mathcal{A}$

Die Bewertung der Mengen erfolgt über eine Mengenfunktion.

Maß

Mit Wahrscheinlichkeit eines Ereignisses ist ein bestimmtes Maß des Ereignisses gemeint.

Definition:

Eine Abbildung

$\mu:\mathcal{A}\to\mathbb{R}^+\cup\{\infty\}$

auf eine σ-Algebra $\mathcal{A}$ von Teilmengen einer Menge Ω heißt ein Maß auf Ω, falls μ σ-additiv ist, d.h.:

wenn $A_1,A_2,\dots \in\mathcal{A}$ paarweise disjunkt sind ($A_i\cap A_j=\varnothing\ \forall i\ne j\in\mathbb{N}$) dann gelte:

$\mu(\bigcup_{n\in\mathbb{N}}A_n)=\sum_{n\in\mathbb{N}}\mu(A_n)$

Man nennt einen Maß μ ein Wahrscheinlichkeitsmaß wenn μ auf 1 normiert ist, d.h. μ(Ω) = 1.
Statt mit μ wird ein Wahrscheinlichkeitsmaß meistens mit P angedeutet.

Definition:

Das Tupel $(\Omega,\mathcal{A})$ heißt Meßraum, die Mengen aus $\mathcal{A}$ messbare Mengen.
Das Tripel $(\Omega,\mathcal{A},\mu)$ heißt Maßraum.
Wenn der Maß einen Wahrscheinlichkeitsmaß ist, spricht man von Wahrscheinlichkeitsraum, und notiert der Maß meistens als $P$. Der Wahrscheinlichkeitsraum ist also:

$(\Omega,\mathcal{A},P),$

mit $\mathcal{A}$ eine σ-Algebra von Ereignissen.

Additionssatz:

Für zwei messbare Mengen A und B gilt:

$\mu(A\cup B)=\mu(A)+\mu(B)- \mu(A\cap B)$.

Die Wahl der Wahrscheinlichkeitsmaße

Wie findet man passende Wahrscheinlichkeitsmaße, d.h. ein Maß, das auf die Situation zutrifft. Eine wichtige Hilfe ist das Indifferenzprinzip, auch Prinzip vom unzureichenden Grunde genannt. Grob gesprochen ordnet man zwei Ereignissen dieselbe Wahrscheinlichkeit zu, falls es keinen Grund gibt, zwischen ihnen zu unterscheiden.

Beispiele:

• Die Würfelseiten sind alle gleich bis auf dem Zahlenaufdruck, der den Wurf nicht stört. Wir nehmen daher an, dass alle Würfelseiten gleiche Wahrscheinlichkeit besitzen.
• Die Münze ist, bis auf die Prägung 'Kopf' oder 'Zahl' auf beiden Seiten gleich. Deshalb ordnen wir beiden Seiten die gleiche Wahrscheinlichkeit zu.

Man muss die Wahl des Maßes anpassen, falls ein hinreichender Grund hinzutritt.

Beispiel:

Beim zweiten Wurf merken wir, dass die Münze gezinkt ist. Dann haben beide Seiten nicht (mehr) diesselbe Wahrscheinlichkeit.

Wir erkennen auch hier, dass sich die Wahrscheinlichkeit mit den uns zur Verfügung stehenden Informationen ändert. Durch das Indifferenzprinzip sind auch gleichzeitig alle Symmetrien erfasst. Beispielsweise kann man durch Drehung einen (Spiel-)würfel in sich selbst überführen, wenn wir wieder den unterschiedlichen Aufdruck der Augen vernachlässigen können. Dieses Würfeldrehen ist eine Gruppenwirkung. Systematisch wird diese Symmetrien in der Theorie der Haarschen Maße untersucht.

Laplace-Experiment

Zufallsexperimente, die dem Indifferenzprinzip unterliegen, lassen sich leicht im Rahmen der Theorie beschreiben. Die Anzahl der Ergebnisse ist notwendig endlich.

Definition:

Ein Laplace-Experiment ist ein Zufallsexperiment mit endlich vielen Ergebnissen, die alle gleichwahrscheinlich auftreten können.

Beispiel:

Eine Münze hat die Seite "Zahl" und "Kopf". Die Wahrscheinlichkeit, dass die Seite "Zahl" fällt, liegt bei 1/2. Ebenso hoch ist die Wahrscheinlichkeit, dass die Seite "Kopf" fällt. Man kann es nicht beeinflussen. Ein Wurf mit einer Münze ist deshalb ein Laplace-Experiment

Das Wahrscheinlichkeitsmaß, das zu einem Laplace-Experiment mit n Ergebnissen gehört, teilt jeder diesen Ergebnissen die Wahrscheinlichkeit 1/n zu. Ein Ereignis das aus k Ergebnissen besteht, hat dann die Wahrscheinlichkeit k/n. Die zum Ereignis gehörenden Ergebnissen nennt mann die (für das Ereignis) günstigen Ergebnissen.

Definition:

Die Laplace-Wahrscheinlichkeit eines Ereignis A in einem Laplace-Experiment ist das Quotient der Anzahl für A günstigen (zu A gehörenden) Ereignissen und die Gesamtanzahl der Ereignisse.