Entropie: Einleitung

Zurück zur Übersicht

**John von Neumann 1943–1945 LosAlamos**

Einleitung

Entropie ist ein Begriff der gerne gebraucht, aber wenig verstanden wird.

Wenn man den Begriff wirklich verstehen will, muss man mit ihm rechnen oder ihn messen.

J. Von Neumann
„You should call it entropy. Nobody knows what entropy really is, so in a debate you will always have the advantage.

Sie sollten es Entropie nennen. Niemand weiß, was Entropie eigentlich ist, so dass Sie in einer Diskussion immer im Vorteil sind.“

Quelle: nach Shannon in M. Tribus, E. C. McIrvine – Energy and information, Scientic American, 224 (September 1971), 178–184

Entstanden ist der Begriff zunächst in der Physik. Heute hat er in vielen Disziplinen seine Anhänger gefunden. Den wichtigsten Beitrag zum Verständnis des Begriffes muss die Mathematik liefern. Gefragt ist vor allem die Stochastik, die man am besten als Mathematik des Zufalls bezeichnen kann.

Entropie in der Informationstheorie

Um den schwer verständlichen Begriff Entropie im Mathematischen leichter anwendbar zu machen, sollte man sich einfach folgenden Satz merken:

Je mehr Zufallsinformation in einem System zu finden ist, desto höher ist die Entropie des Systems.

Die Entropie kann man als die Menge an Zufallsinformation ansehen, die in einem oder mehreren Zufallsereignissen oder in einer Informationsfolge steckt.

Warum diese Sätze richtig sind, soll im weiteren Verlauf des Buches begründet werden.

Ein weiterer Satz ist für das Verständnis der Entropie sehr hilfreich:

Die Entropie eines idealen Münzwurfes hat definitionsgemäß die Größe 1 bit.

Ein idealer Münzwurf ist ein Zufallsprozess, mit 2 möglichen Folgen, deren Wahrscheinlichkeit exakt 50 % beträgt.

Die Entropie eines sicheren Ereignisses ist 0 bit, die Entropie eines unmöglichen Ereignisses ist 0 bit, denn in beiden steckt kein Zufall.

Man sollte dabei nicht vergessen, daß hier nicht die ganze Physik des Münzwurfes oder die Zahl der in der Münze enthaltenen Teilchen, deren Temperatur und deren Ordnungszustand betrachtet wird. Dann würde man natürlich einen viel größeren Wert für die Entropie bekommen. Es geht hier nicht um die Münze als physikalisches Objekt, sondern um den Münzwurf als Beispiel für ein statistisches Ereignis mit 2 genau gleichwahrscheinlichen möglichen Ergebnissen: Wappen oder Zahl.

Gleich am Anfang soll auch auf die Grenzen des Entropiebegriffes hingewiesen werden: Kompliziertere Strukturen, wie beispielsweise die Struktur eines Schneekristalles, kann man nur mathematisch explizit beschreiben. Eine Aussage über die physikalische oder mathematische Entropie des Schneekristalles ist zwar ganz interessant, liefert aber keine hinreichende Beschreibung des Kristalles. Es gibt sicher eine Reihe verschieden strukturierter Schneekristalle, die rein rechnerisch (mathematisch) oder auch physikalisch gemessen eine identische Entropie haben. (entropieidentisch, strukturverschieden)

Kurze Sätze, die Entropie betreffend

Informationstheorie und Mathematik

Im Wurf einer idealen Münze steckt per definition die Entropie 1 bit.
In einem sicheren Ereignis steckt die Entropie 0 bit = kein Zufall.
In einem unmöglichen Ereignis steckt die Entropie 0 bit = kein Zufall.
Wiederholt man den Wurf einer idealen Münze n mal, so steckt in der gewonnenen Zufallssequenz die Entropie n bit.
Die Entropie ist eng verwandt mit dem Begriff Zahl der Möglichkeiten eines Zufallsprozesses, denn die Entropie wird aus der Zahl der Möglichkeiten abgeleitet und nur durch das Logarithmieren kleiner und handhabbarer gemacht.
Je höher die Entropie, desto zufälliger ist etwas d.h. die Information verteilt.
Die Entropie ist ein Maß für die Menge an Zufallsinformation, die in einem Zufallsprozeß steckt.
Die Entropie ist ein indirektes Maß für die Ordnung eines Systems.

Physik und andere Naturwissenschaften

Entropie als Wärmemenge

Jedes physikalische Objekt enthält Entropie.
Die Entropie eines physikalischen Objektes hängt vor allem ab von seiner Teilchenzahl, seiner Temperatur und seinem Aggregatzustand ( fest,flüssig,gasförmig).
Die Entropie eines idealen, reinen Kristalles am absoluten Nullpunkt ist sehr gering, idealerweise 0 Joule / Kelvin.
Festkörper, besonders Kristalle, haben bei gleicher Stoffmenge in der Regel eine kleinere Entropie als Flüssigkeiten und Flüssigkeiten eine kleinere als Gase.
d.h. die Entropie eines reinen Stoffes derselben Stoffmenge nimmt in folgender Reihenfolge zu:
- fest < flüssig < gasförmig
Entropie in der makroskopischen Physik kann man am besten als Wärmemenge beschreiben.
- Manche wünschen sich hier die Bezeichnung gewichtete Wärmemenge ??
- Müssen dann aber erklären, was eine gewichtete Wärmemenge ist: Wärme / Masse ? Wärme / Gewicht
- Das Gewicht (1/T) kann als Definitionsgleichung der absoluten Temperatur gelten, δQ = T · dS.
- Das ideale Kraftwerk liefert vom heißen Kessel die Entropie S = Q/T an das Kühlwasser S = Q'/T' und gewinnt E = Q-Q' >0 als elektrische Energie.
- Die ideale Wärmepumpe, Kühlkammer und Klimaanlage funktionieren genau umgekehrt.
- Aufgabe: Für den Wirkungsgrad E/Q = 75% muss ich wie heiß feuern über Raumtemperatur?
- Es gibt keine Zustandsfunktion Q der Wärmemenge, sondern ersatzweise das Paar der Zustandsfunktionen T,S (intensiv,extensiv).
Entropie ist eine mengenmäßiger Begriff, der von einem physikalischen Objekt zu einem anderen übergehen kann.
Entropie hat in der Physik die Einheit Joule/ Grad Kelvin.
Die Entropie als Wärmemenge eines physikalischen Objektes muß man von seiner Energie mit der Einheit Joule unterscheiden, die noch zusätzlich Bewegungsenergie, Gewicht, chemische Energie und elektrische Energie enthalten kann.
Entropie als Wärmemenge ist nicht dasselbe wie die Wärmeenergie mit der Dimension [Joule].
1 Gramm flüssiges Wasser hat bei 0 Grad und Normaldruck 1,40 Joule/Kelvin mehr Entropie hat als 1 Gramm Eis.
Die zwei Begriffe Absolute Temperatur und Entropie wurden praktisch gleichzeitig entdeckt, bei der Suche nach den optimalen Wärmekraftmaschinen.
Die Entropie ist - im Gegensatz zur Temperatur - von der Stoffmenge abhängig.
- d.h zwei Liter Wasser enthalten - bei derselben Temperatur und Normaldruck - die doppelte Menge Entropie wie ein Liter.
Die absolute Entropie kann aus den messbaren Parametern eines Objekts berechnet werden.
Entropieveränderung kann man experimentell messen, wenn man beispielsweise Wasser mit einem Tauchsieder erhitzt oder Eis in Wasser schmilzt.
Bei einem Wärmeaustausch zwischen zwei Körpern ist die übertragene Entropie gleich der übertragenen Wärmeenergie, geteilt durch die absolute Temperatur.
Bei nicht-umkehrbaren (irreversiblen) Vorgängen, die aus hochwertiger Energie Abwärme machen, nimmt die Entropie zu.
Die Entropieeinheit $1{\frac {Joule}{Kelvin}}$ entspricht der Entropiemenge, mit der man bei Normaldruck 0,893 $cm^{3}$ Wassereis schmelzen kann.
Wenn ein verdichtetes Gas auf ein größeres Volumen entlassen wird, entsteht Entropie, gleichzeitig sinkt dabei in der Regel die Temperatur.
Reinstoffe besitzen meist eine geringere Entropie als Stoffgemische.
Überall dort, wo Reibung auftritt, kommt es zur Entropieerhöhung.
Eine Energieübertragung ist immer auch mit einem Entropietransport verbunden.
Entropie kann produziert, aber in der Gesamtbilanz eines physikalischen Vorganges niemals verringert oder vernichtet werden.
- d.h aber nicht, das ein physikalisches System in keinem seiner Teilbereich die Entropie reduzieren kann.
- es kann in Teilbereichen die Entropie vermindern, wenn es in anderen Bereichen seine Entropie zum Ausgleich erhöht.
Entropie kann nur zusammen mit Energie von einem Körper zum anderen übertragen werden.
Es gilt übertragene Energie / Übertragene Entropie = Temperatur
An den Phasenübergängen fest zu flüssig und flüssig zu gasförmig steigt die Entropie eines reinen Stoffes deutlich an, ohne daß sich dabei die Temperatur ändert.

Entropie in nebulösen Umschreibungen

Die Entropie ist ein Maß für diejenige Energiemenge in einem System, die nicht für die mechanische Arbeit verfügbar ist.
Nach dem Entropiegesetz kann mechanische Arbeit zwar vollständig in Wärme, nicht aber Wärme vollständig in mechanische Arbeit umgewandelt werden.
Der Wert der Entropie in einem isolierten System ist auch als Maß für die innere Stabilität zu verstehen. Je größer der Zahlenwert ist, desto stabiler ist das System und desto kleiner ist die Möglichkeit für spontane Veränderungen.
Die Entropie ist ein Maß für die Verteilung von Energie und Materie.
Das Entropieprinzip bestimmt die Richtung der Vorgänge, die nach dem Energieprinzip möglich sind.
Die Entropie kann gut verwendet werden, wo viele Teilchen statistisch betrachtet werden.
Die Entropieproduktion eines Prozesses kennzeichnet dessen Irreversibilität (Unumkehrbarkeit)
Die auf die einzelnen Moleküle eines Körpers verteilte Bewegungsenergie geht stets von einem weniger wahrscheinlichen Verteilungszustand in einen wahrscheinlicheren über, nicht aber umgekehrt.
In der Thermodynamik beschreibt die Entropie den inneren „Ausbrechwillen“ der Teilchen aus ihrem derzeitigen Zustand.
Die Entropie ist eine Schwester der Zeit.

Einfache Beispiele

An Hand einfacher Beispiele kann man sich am schnellsten klar werden, was die Entropie eigentlich ist. Man sollte sich auch immer überlegen, ob man dabei die Entropie eines stabilen Zustandes betrachtet oder die Entropieänderung beim Übergang von einem Zustand zum anderen.

Mathematik

Die Entropie eines Münzwurfes. Die Entropie eines Würfelwurfes.

Die Entropie einer zufälligen und einer geordneten 01-Folge.

In einer Schachtel liegen eng gepackt 100 Murmeln. Die Schachtel wird ausgekippt. Die Murmeln laufen völlig ungeordnet in alle Richtungen und unterschiedlich weit davon.

Physik

Schmelzen und Gefrieren, Sieden und Kondensieren

Eine Schneeflocke wird von der Sonne zu Wasser geschmolzen.

Eine Pfütze friert im Winter nachts zu, am Tag taut sie wieder auf.

Erwärmen und Abkühlen

Wärmeleitung von Heiß nach Kalt

Chemie

Tinte in Wasser

Kleinste Teilchen neigen dazu, sich gleichmäßig im Raum zu verteilen. Dies lässt sich gut beobachten, wenn man Tinte in ein Glas mit Wasser gibt. Die Tinte verteilt sich auch ohne daß man umrührt. Das Phänomen zeigt den Trend zur Entropiezunahme. Dasselbe funktioniert natürlich auch mit der Milch im Kaffee, mit Zucker (am besten braunen) in Wasser und mit einer Brausetablette in Wasser.

Exotherme Reaktionen

Eine chemische Reaktion läuft ab und es wird dabei Energie (und Entropie) freigesetzt, so daß sich die Temperatur der beteiligten Stoffe erhöht.

Endotheme Reaktionen

Endotherme Reaktionen die trotzdem von alleine ablaufen, weil sich die Entropie dabei stärker erhöht als der Energieverlust.

Zucker löst sich in Wasser und kühlt das Wasser dabei ab.

Biologie

Schweiß verdampft auf der Haut und kühlt die Haut dabei ab.

Die Entropie des genetischen Codes.

Entropiespiel von Ehrenfest: Dabei geht es darum den Begriff Entropie durch ein einfaches Beispiel (Hunde, Flöhe) zu veranschaulichen. Eine Anzahl von Flöhen wird auf einen von zwei Hunde losgelassen und untersucht, wie sich die Flöhe in der Folge auf den Hunden verteilen. Die Floh-Verteilung, die mit größten Wahrscheinlichkeit auftreten wird, ist die gleichmäßige Verteilung der Flöhe auf den beiden Hunden. Das Maß für diese Wahrscheinlichkeit läßt sich in Zahlen berechnen und ist ein Maß für die Entropie der Flohverteilung.

Die Trinkende Ente, Ein Entropiespielzeug

Siehe auch

Trinkvogel
http://www.job-stiftung.de/index.php?id=9,128,0,0,1,0
- Sehr gut erklärt