Entropie: Wahrscheinlichkeit
Zurück zur Übersicht
Entropie und Wahrscheinlichkeit
[Bearbeiten]
Der Begriff Wahrscheinlichkeit wird von den meisten Menschen viel eher verstanden, als der Begriff der Entropie. Wie man aus der Formel von Shannon erkennen kann, sind die beiden Begriffe eng verwandt.
An Hand einer Münze oder eines Würfels hat jeder eine ganz gute Vorstellung von der Wahrscheinlichkeit.
Einfache Beispiele:
- Die Wahrscheinlichkeit bei einem Münzwurf das Wappen zu bekommen beträgt bei einer idealen Münze p = 0,5
- Die Wahrscheinlichkeit bei einem idealen Würfel bei einem Wurf eine 6 zu erhalten beträgt p = 1/6 = 0,16666
Wenn man den Begriff Wahrscheinlichkeit nicht verstanden hat, dann kann man sich die Wikipediaseite über die Wahrscheinlichkeit anschauen. Wahrscheinlichkeit
Die Wahrscheinlichkeit wird in der Mathematik meist mit p abgekürzt und liegt definitionsgemäß immer zwischen 0 und 1.
p = 0 ==> völlig unmögliches Ereignis p = 1 ==> sicheres Ereignis p = 0,5 ==> idealer Münzwurf
Alle Wahrscheinlichkeiten von mehr bzw. minder wahrscheinlichen Ereignissen liegen zwischen 0 und 1.
Von der Wahrscheinlichkeit zur Entropie, Zahl der Möglichkeiten
[Bearbeiten]Will man von der Wahrscheinlichkeit zur Entropie gelangen, braucht man noch einen wichtigen weiteren Begriff:
Die Zahl der Möglichkeiten eines Zufallsereignisses.
Bei mehreren Ergebnissen eines Zufallsprozesses oder bei der Koppelung von Zufallsprozessen hintereinander wächst die Zahl der Möglichkeiten sehr schnell zu einer großen Zahl an.
Die Entropie ist dabei ein Maß für diese Zahl der Möglichkeiten.
Durch die Anwendung des Logarithmus auf die Zahl der Möglichkeiten wird das Ergebnis (die Entropie) dabei wieder eine viel kleinere Zahl, die besser handhabbar ist. Die Eigenschaften und die Bedeutung des Begriffes werden durch diese Umformung im Wesentlichen aber nicht verändert.
Man muß allerdings noch unterscheiden, ob die Ergebnisse des Zufallsprozesses gleichwahrscheinlich sind oder ob sie verschiedene Wahrscheinlichkeiten haben.
Sehr einfach berechenbar ist die Zahl der Möglichkeiten M bei gleicher Wahrscheinlichkeit p dieser Möglichkeiten. In diesem Fall gilt.
M = 1/p
Die Entropie der Shannonformel kann man dann als die Zahl der Stellen einer Binärzahl ansehen, die man braucht um alle Möglichkeiten mit gleichgesetzter Wahrscheinlichkeit in binärer Form darzustellen.
Betrachtet man beispielsweise den Wurf eines idealen Achterwürfels, dann gilt hier:
p = 1/8 Zahl der Möglichkeiten = 8 Entropie H = 3 denn 8 = 2^3 Acht ist zwei hoch drei
Man braucht eine Binärzahl von 3 Stellen, um alle 8 Möglichkeiten darstellen zu können.
000,001,010,011,100,101,110,111 1 2 3 4 5 6 7 8
Vorsicht ist geboten mit dem Begriff der Wahrscheinlichkeit in der Boltzmannschen Entropieformel. Das ist die sog. thermodynamische Wahrscheinlichkeit , ein sehr mißverständlicher Begriff. Er entspricht eigentlich viel besser der Zahl der Möglichkeiten ( = Mikrozustände ) eines Systems oder einer Anordnung.
Zusammenfassung
[Bearbeiten]Wenn man ein Zufallsexperiment mit bekannter Wahrscheinlichkeit mehrfach wiederholt , dann bleibt die Wahrscheinlichkeit immer gleich. Die Entropie der Folge wächst an und kann aus der Wahrscheinlichkeit und der Zahl der durchgeführten Experimente berechnet werden.
Wenn man ein Zufallsexperiment mit unbekannter Wahrscheinlichkeit mehrfach wiederholt , dann wird die Wahrscheinlichkeit immer besser und genauer bestimmbar. Die Gesamtentropie der Folge wächst an und kann aus der geschätzten Wahrscheinlichkeit und der Zahl der durchgeführten Experimente berechnet werden.