Entropie: Information
Zurück zur Übersicht
Inhaltsverzeichnis |
[Bearbeiten] Zusammenhang zwischen Entropie und Information
Zitat: Man kann Philosophen in zwei Klassen einteilen: die einen glauben, daß sich die Philosophen in zwei Klassen einteilen lassen, die anderen nicht. ( Von Anonymus)
Über den genauen Zusammenhang zwischen der Entropie und der Information wird heftig diskutiert:
[Bearbeiten] Vorschläge
I = k * E
- Shannon
- Information und Entropie sind direkt proportional
I = - k * E
- Schrödinger, Wiener , Slizard,
Brillouin
- Information und Entropie sind indirekt proportional
- beispielsweisen in Léon Brillouin
- Science and Information Theory (New York: Academic Press, 1956)
Brillouin [1951a] p. 335 : Shannon, however compares information with positive entropy, a procedure which seems difficult to justify since information is lost during the process of transmission, while entropy is increased.
I = Io* e^(-k*E)
- Tom Stonier
- Information und Entropie sind negativ korreliert, es gibt negative Entropie
- http://www.madeasy.de/2/stonier.htm
Wer hat hier recht ?
[Bearbeiten] Gesamtinformation = Entropie + geordnete Information
Ein weiterer Vorschlag wäre folgender:
Wenn man die Entropie als die Menge an Zufallsinformation betrachtet , die in einem System steckt, dann kann man sagen, dass die Gesamtinformation des Systems immer größer oder gleich der Entropie des Systems ist.
Es gilt wahrscheinlich folgende Formel:
Menge an Gesamtinformation = Menge an Zufallsinformation
+ Menge an nichtzufälliger Information
[Bearbeiten] Beispiele
Am besten kann man sich die Bedeutung dieser Formel an Beispielen klar machen, bei denen ein System zwischen verschiedenen Ordnungszuständen hin und her pendelt. Interessant ist auch die mathematische Berechnung der Struktur von Schneekristallen und die physikalische Messung ihrer Schmelzwärme.
[Bearbeiten] Eis und Wasser
Die Information eines Eisblockes, der auftaut und wieder gefriert, bleibt in seiner Gesamtinformation konstant. Die Menge an Zufallsinformation pendelt dabei zwischen einem hohen und einem geringen Wert hin und her. Die Menge an nichtzufälliger Information verhält sich dazu gegensinnig. Nicht zu vernachlässigen ist dabei natürlich der Zu- und Abstrom von Wärme von außen, ohne die kein Wechsel zwischen den Aggregatszuständen des Wassers stattfinden würde.
[Bearbeiten] Schneeflockenbeispiel
Die mathematische Entropie einer Schneeflocke kann man aus ihrer Struktur berechnen. Die physikalische Entropie kann man über die Schmelzwärme messen, die zum Schmelzen der Schneeflocke gebraucht wird. So kann man aus der gegenüber einem Monokristall reduzierten Schmelzwärme einer Schneeflocke auf deren mathematischen Ordnungsgrad schlußfolgern und vielleicht einen Umrechnungsfaktor zwischen der physikalischen und der informationstheoretischen Entropie berechnen. Die Einheit dafür wäre bit / Joule / Kelvin.
[Bearbeiten] Planetensystem
Betrachtet man das Sonnensystem, dann hat es gegenüber dem Eisblock den Vorteil, daß man es sich in grober Näherung von außen isoliert vorstellen kann. Stehen dann alle Planeten in einer Reihe auf einer Seite der Sonne, dann ist die Entropie sicher niedriger und der Anteil an geordneter Information größer, als bei einem Zustand der zufälligen Verteilung der Planeten um die Sonne. Das System der Planeten unterliegt zwar im Gegensatz zum Eisblock zumindest theoretisch keinem äußeren Einfluß durch eine periodische Energiezufuhr oder -abführung. Dennoch ist es physikalisch nicht ideal, da die Sonne ständig durch die Fusion Energie erzeugt und das Gesamtsystem so einen Massen- und Energieverlust erleidet.
[Bearbeiten] Erkaltetes Planetensystem
Um das Problem schwer berechenbarer Einflüsse durch die Kernfusion zu vermeiden, kann man ein Planetensystem mit einem erkalteten, ruhigen Zentralkörper betrachten der von 2,3 oder mehreren kleinen Planeten umkreist wird. Hier kann man dann, unter Vernachlässigung aller äußeren Einflüsse, die Entropie einer geordneten Konstellation, in der alle Planeten in einer Reihe auf einer Seite des Zentralgestirns stehen mit der Entropie einer weniger geordneten Konstellation vergleichen. So kann man eine einfache Formel für das hin und her pendeln zwischen Ordnung und Entropie finden und die Gesamtinformation errechnen.
[Bearbeiten] Gesamtes Universum
Vielleicht ist auch das gesamte Universum so etwas wie ein Entropiependel. Dann wäre zumindest einigermassen erklärbar, warum am Anfang ein Zustand so niedriger Entropie vorlag und die Entropie momentan ständig zunimmt. Der Urknall war dann nur der eine Umschlagspunkt des Entropiependels mit maximaler Ordnung und minimaler Entropie. Dieser strebt über Jahr Milliarden zum Punkt maximaler Entropie und minimaler Ordnung. Um dann wieder in die andere Richtung umzukehren. Dies wäre eine angenehmere Vorstellung, für alle die sich mit der Vorstellung des 
Wärmetodes des Universums nicht abfinden können.
[Bearbeiten] Basisbegriffe der Natur- und Strukturwissenschaften
Materie ------------ Energie
\ /
\ /
\ /
\ /
Information
/ \
/ \
/ \
/ \
/ \
Entropie geordnete
| Information
| |
| |
| |
Beispiel: Beispiel:
01101100110111100010 10101010101010101010
| |
| |
| |
Stochastik Restliche Mathematik
Statistik
- Hohe Entropie ist eher langweilig.
- Eine Ordnung ohne jeden Zufall ist auch eher langweilig.
>> Interessant ist die Mischung aus Entropie und Ordnung.
Wenn man 1 Gramm Wasser betrachtet, dann ist ein Wassertropfen mit Zufallsstruktur der Wassermoleküle eher langweilig. Ein geordneter Einkristall des Wassers ist auch langweilig (wenn es so etwas gibt). Interessant ist es zwischen drin: beispielsweise ein Schneekristall. Hier gibt es eine unendliche Vielfalt der Formen.
