Entropie: Einleitung

Aus Wikibooks
Zur Navigation springen Zur Suche springen

Zurück zur Übersicht

John von Neumann 1943–1945 LosAlamos

Einleitung[Bearbeiten]

Entropie ist ein Begriff der gerne gebraucht, aber wenig verstanden wird.

Wenn man den Begriff wirklich verstehen will, muss man mit ihm rechnen oder ihn messen.

 J. Von Neumann
„You should call it entropy. Nobody knows what entropy really is, so in a debate you will always have the advantage.
  • Sie sollten es Entropie nennen. Niemand weiß, was Entropie eigentlich ist, so dass Sie in einer Diskussion immer im Vorteil sind.“
Quelle: nach Shannon in M. Tribus, E. C. McIrvine – Energy and information, Scientic American, 224 (September 1971), 178–184

Entstanden ist der Begriff zunächst in der Physik. Heute hat er in vielen Disziplinen seine Anhänger gefunden. Den wichtigsten Beitrag zum Verständnis des Begriffes muss die Mathematik liefern. Gefragt ist vor allem die  Stochastik, die man am besten als Mathematik des Zufalls bezeichnen kann.

Murmeln geordnet im Kasten

Entropie in der Informationstheorie[Bearbeiten]

Um den schwer verständlichen Begriff Entropie im Mathematischen leichter anwendbar zu machen, sollte man sich einfach folgenden Satz merken:

Je mehr Zufallsinformation in einem System zu finden ist, desto höher ist die Entropie des Systems.

Die Entropie kann man als die Menge an Zufallsinformation ansehen, die in einem oder mehreren Zufallsereignissen oder in einer Informationsfolge steckt.


Warum diese Sätze richtig sind, soll im weiteren Verlauf des Buches begründet werden.


Ein weiterer Satz ist für das Verständnis der Entropie sehr hilfreich:

Die Entropie eines idealen Münzwurfes hat definitionsgemäß die Größe 1 bit.

Ein idealer Münzwurf ist ein Zufallsprozess, mit 2 möglichen Folgen, deren Wahrscheinlichkeit exakt 50 % beträgt. Die Entropie eines sicheren Ereignisses ist 0 bit, die Entropie eines unmöglichen Ereignisses ist 0 bit, denn in beiden steckt kein Zufall.

Man sollte dabei nicht vergessen, daß hier nicht die ganze Physik des Münzwurfes oder die Zahl der in der Münze enthaltenen Teilchen, deren Temperatur und deren Ordnungszustand betrachtet wird. Dann würde man natürlich einen viel größeren Wert für die Entropie bekommen. Es geht hier nicht um die Münze als physikalisches Objekt, sondern um den Münzwurf als Beispiel für ein statistisches Ereignis mit 2 genau gleichwahrscheinlichen möglichen Ergebnissen: Wappen oder Zahl.

Gleich am Anfang soll auch auf die Grenzen des Entropiebegriffes hingewiesen werden: Kompliziertere Strukturen, wie beispielsweise die Struktur eines Schneekristalles, kann man nur mathematisch explizit beschreiben. Eine Aussage über die physikalische oder mathematische Entropie des Schneekristalles ist zwar ganz interessant, liefert aber keine hinreichende Beschreibung des Kristalles. Es gibt sicher eine Reihe verschieden strukturierter Schneekristalle, die rein rechnerisch (mathematisch) oder auch physikalisch gemessen eine identische Entropie haben. (entropieidentisch, strukturverschieden)

Kurze Sätze, die Entropie betreffend[Bearbeiten]

Informationstheorie und Mathematik[Bearbeiten]

  • Je höher die Entropie, desto gleichmäßiger und zufälliger ist etwas verteilt.
  • Die Entropie ist ein Maß für die Menge an Zufallsinformation, die in einem Zufallsprozeß steckt.
  • Die Entropie ist eng verwandt mit dem Begriff Zahl der Möglichkeiten eines Zufallsprozesses, denn die Entropie wird aus der Zahl der Möglichkeiten abgeleitet und nur durch das Logarithmieren kleiner und handhabbarer gemacht.
  • Im Wurf einer idealen Münze steckt per definition die Entropie 1 bit.
  • In einem sicheren Ereignis steckt die Entropie 0 bit = kein Zufall.
  • In einem unmöglichen Ereignis steckt die Entropie 0 bit = kein Zufall.
  • Wiederholt man den Wurf einer idealen Münze n mal, so steckt in der gewonnenen Zufallssequenz die Entropie n bit.
  • Die Entropie ist ein indirektes Maß für die Ordnung eines Systems.

Physik und andere Naturwissenschaften[Bearbeiten]

Entropie als Wärme[Bearbeiten]

  • Entropie in der Physik kann man am besten als Wärmemenge beschreiben.
  • Festkörper, besonders Kristalle, haben in der Regel eine kleinere Entropie als Flüssigkeiten und Flüssigkeiten eine kleinere als Gase.
  • Die Entropie eines reinen Stoffes derselben Menge nimmt in folgender Reihenfolge zu:
    • fest < flüssig < gasförmig
  • Die Entropie eines idealen, reinen Kristalles am absoluten Nullpunkt ist 0 Joule / Kelvin
  • Die Entropieeinheit entspricht der Entropiemenge, mit der man bei Normaldruck 0,893 Wassereis schmelzen kann
  • Reinstoffe besitzen meist eine geringere Entropie als Stoffgemische.
  • Überall dort, wo Reibung auftritt, kommt es zur Entropieerhöhung.
  • Ein Wärmetransport ist immer auch mit einem Entropietransport verbunden
  • jeder physikalische Körper enthält Entropie
  • Entropie kann produziert, aber in der Gesamtbilanz eines physikalischen Vorganges niemals verringert oder vernichtet werden.
    • d.h aber nicht, das ein physikalisches System in keinem seiner Teilbereich die Entropie reduzieren kann.
    • es kann in Teilbereichen die Entropie vermindern, wenn es in anderen Bereichen seine Entropie zum Ausgleich erhöht.
  • Entropie kann nur zusammen mit Energie von einem Körper zum anderen übertragen werden.
  • Es gilt übertragene Energie / Übertragene Entropie = Temperatur
zerplatzende Sprechblasen

Entropie in nebulösen Umschreibungen[Bearbeiten]

  • Die Entropie ist ein Maß für diejenige Energiemenge in einem System, die nicht für die mechanische Arbeit verfügbar ist.
  • Nach dem Entropiegesetz kann mechanische Arbeit zwar vollständig in Wärme, nicht aber Wärme vollständig in mechanische Arbeit umgewandelt werden.
  • Der Wert der Entropie in einem isolierten System ist auch als Maß für die innere Stabilität zu verstehen. Je größer der Zahlenwert ist, desto stabiler ist das System und desto kleiner ist die Möglichkeit für spontane Veränderungen.
  • Die Entropie ist ein Maß für die Verteilung von Energie und Materie.
  • Das Entropieprinzip bestimmt die Richtung der Vorgänge, die nach dem Energieprinzip möglich sind.
  • Die Entropie kann gut verwendet werden, wo viele Teilchen statistisch betrachtet werden.
  • Die Entropieproduktion eines Prozesses kennzeichnet dessen Irreversibilität (Unumkehrbarkeit)
  • Die auf die einzelnen Moleküle eines Körpers verteilte Bewegungsenergie geht stets von einem weniger wahrscheinlichen Verteilungszustand in einen wahrscheinlicheren über, nicht aber umgekehrt.
  • In der Thermodynamik beschreibt die Entropie den inneren „Ausbrechwillen“ der Teilchen aus ihrem derzeitigen Zustand.
  • Die Entropie ist eine Schwester der Zeit.

Einfache Beispiele[Bearbeiten]

An Hand einfacher Beispiele kann man sich am schnellsten klar werden, was die Entropie eigentlich ist.

Mathematik[Bearbeiten]

Die Entropie eines Münzwurfes. Die Entropie eines Würfelwurfes. Die Entropie einer zufälligen und einer geordneten 01-Folge

In einer Schachtel liegen eng gepackt 100 Murmeln. Die Schachtel wird ausgekippt. Die Murmeln laufen völlig ungeordnet in alle Richtungen und unterschiedlich weit davon.

Physik[Bearbeiten]

Schmelzen und Gefrieren, Sieden und Kondensieren[Bearbeiten]

Siedendes Wasser, die Entropie nimmt zu, die Temperatur bleibt konstant

Eine Schneeflocke wird von der Sonne zu Wasser geschmolzen.

Eine Pfütze friert im Winter nachts zu, am Tag taut sie wieder auf.

Erwärmen und Abkühlen[Bearbeiten]

Wärmeleitung von Heiß nach Kalt[Bearbeiten]

Milch mischt sich mit dem Kaffee

Chemie[Bearbeiten]

Tinte in Wasser[Bearbeiten]

Kleinste Teilchen neigen dazu, sich gleichmäßig im Raum zu verteilen. Dies lässt sich gut beobachten, wenn man Tinte in ein Glas mit Wasser gibt. Die Tinte verteilt sich auch ohne daß man umrührt. Das Phänomen zeigt den Trend zur Entropiezunahme. Dasselbe funktioniert natürlich auch mit der Milch im Kaffee, mit Zucker (am besten braunen) in Wasser und mit einer Brausetablette in Wasser.

Exotherme Reaktionen[Bearbeiten]

Endotheme Reaktionen[Bearbeiten]

Endotherme Reaktionen die trotzdem von alleine ablaufen, weil sich die Entropie dabei stärker erhöht als der Energieverlust.

Zucker löst sich in Wasser und kühlt das Wasser dabei ab.

Biologie[Bearbeiten]

Schweiß verdampft auf der Haut und kühlt die Haut dabei ab.

Die Entropie des genetischen Codes.

Entropiespiel von Ehrenfest: Dabei geht es darum den Begriff Entropie durch ein einfaches Beispiel (Hunde, Flöhe) zu veranschaulichen. Eine Anzahl von Flöhen wird auf einen von zwei Hunde losgelassen und untersucht, wie sich die Flöhe in der Folge auf den Hunden verteilen. Die Floh-Verteilung, die mit größten Wahrscheinlichkeit auftreten wird, ist die gleichmäßige Verteilung der Flöhe auf den beiden Hunden. Das Maß für diese Wahrscheinlichkeit läßt sich in Zahlen berechnen und ist ein Maß für die Entropie der Flohverteilung.

Die Trinkende Ente, Ein Entropiespielzeug[Bearbeiten]

Siehe auch