Entropie und Information

Der Zusammenhang Entropie - Information ist ziemlich unklar

I = k * E
- Shannon
  - Information und Entropie sind direkt proportional
I = - k * E
- Schrödinger, Wiener , Slizard, Broullion
  - Information und Entropie sind indirekt proportional
I = Io* e^(-k*E)
- Tom Stonier
  - Information und Entropie sind negativ korreliert, es gibt negative Entropie
  - http://www.madeasy.de/2/stonier.htm

Wer hat hier recht ?

Meine Meinung:

Wenn man die Entropie als die Menge an Zufallsinformation betrachtet , die in einem System steckt, dann kann man sagen, dass die Gesamtinformation des Systems immer größer oder gleich der Entropie des Systems ist.

Menge an Gesamtinformation = Menge an Zufallsinformation + Menge an nichtzufälliger Information

Man kann sich diese Formel am besten klarmachen, wenn mann einfach eine geordnete Informationsfolge und eine zufällige zusammenklebt.

Beispiel 1

geordnete Informationsfolge: 10101010101010101010
zufällige Informationsfolge: 01101100110111100010

Klebt man beide Folgen hintereinander, dann muß es auch für die doppelt so lange Informationsfolge eine Gesamtinformationsmenge geben. Sie ist dann einfach die Summe der Informationsmengen beider einzelnen Folgen.

zusammengeklebte geordnete und zufällige Informationsfolge: 1010101010101010101001101100110111100010

Aus der Physik möchte ich weitere Beispiele anfügen:

Beispiel 2

Eine Schneeflocke mit komplizierter Struktur hat sich bei null Grad teilweise in Wasser aufgelöst. Wie hoch ist die Gesamtinformation ?

Die Gesamtinformation hängt sicher ab von der Teilchenzahl an Wassermolekülen.
- Kann ich die noch geordnete Kristallstruktur mathematisch beschreiben und verdichten und dann einfach die Wassermoleküle hinzuzählen ? Oder spielt das eigentlich bei der Gesamtinformationsmenge keine grosse Rolle ?
Man muß dann auch die Umgebung berücksichtigen zb Glasplatte auf der die Schneeflocke liegt oder die Luft durch die die tauende Schneeflocke schwebt.
Der Umgebungsdruck spielt sicher auch eine gewisse Rolle.

Beispiel 3

Die Information eines Eisblockes, der auftaut und wieder gefriert, bleibt in seiner Gesamtinformation konstant. Die Menge an Zufallsinformation pendelt dabei zwischen maximal und minimal hin und her. Die Menge an nichtzufälliger Information verhält sich dazu gegensinnig. Bei diesem Beispiel muß man allerdings aufpassen, wie man mit dem Begriff Entropie verfahren will. Betrachtet man nur die mathematische Ordnungsstruktur, dann kommt etwas anderes heraus, als bei einer echten physikalischen Entropiebetrachtung, die den Energiegehalt und die Temperatur berücksichtigen muß, sowie die Entropiezu- und abfuhr von außen.

Siehe auch

Entropiewert beliebiger 01 Folgen und Entropiefunktion

Die Entropiefunktion soll die nicht so einfach berechenbare Trennung von zufälliger und geordneter Information darstellen. Jeder beliebigen binären Zahl soll ein Entropiewert zugeordnet werden. Mathematisch gebildete Menschen werden die Stirne runzeln, das dahinterliegende Problem ist m.E. aber ungelöst und durchaus ernsthaft. Siehe auch: http://www.madeasy.de/2/entropie.htm#Fragen

Die Entropiefunktion soll die Schwierigkeiten verdeutlichen, wenn man die offensichtlich unterschiedlichen Chaitinketten A und B trennen will.

10101010101010101010 ( geordnete Reihe )
01101100110111100010 ( zufällige Reihe )

Siehe auch http://www.cs.auckland.ac.nz/CDMTCS/chaitin/sciamer.html

Wie kann man den offensichtliche Unterschied ( geordnet und zufällig ) sauber quantifizieren ?

1.Schritt Zuordnung der Reihe natürlichen Zahlen zu einer vollständigen Auflistung aller 01 Varianten mit zunehmender Länge

0 > 0
1 > 1
2 > 00
3 > 01
4 > 10
5 > 11
6 > 000
7 > 001
8 > 010
9 > 100
10 > 011
11 > 110
12 > 101
13 > 111

Für diese Zuordnung kann man leicht ein Computerprogramm schreiben. Siehe zb Ein Programm in der Programmiersprache Gambas , welches alle Möglichkeiten mit wachsender Länge darstellt, schaut so aus:

 STATIC PUBLIC SUB Main()
 'Dieses Programm zeigt alle Varianten von 01 bei wachsender Länge 
 'Die vorderen Leerräume werden mit Null aufgefüllt.
 DIM s AS Integer
 DIM z AS Integer
 DIM t AS String
 FOR s = 1 TO 8
  FOR z = 0 TO (2^s - 1)
   t = Bin$(z,s)
   PRINT t
  NEXT 
 NEXT
END

2.Schritt Bestimmung des Entropiewertes jeder 01 Folge und Zuordnung zu den beiden vorherigen Reihen Dabei soll gelten: Die Entropie von Reihen die nur aus 0 oder 1 bestehen soll Null sein. Die Entropie von gemischten Reihen von 0 und 1 wird statistisch abgeschätzt bzw berechnet und entspricht maximal der Länge der 01 Folge. Die statistische Entropie Abschätzung erfolgt mit dem Runstest oder einem anderen ( besseren universelleren) Test. siehe zb http://de.wikibooks.org/wiki/Gambas:_Statistik#Runtest

Man kann das Ganze grafisch auftragen:

1.Möglichkeit.
- x -Achse 0 1 2 3 4 5 6 7 8 9
- y -Achse Nach Schritt 1 und 2 bestimmter Entropiewert.

Es resultiert eine ansteigende Zahlenfolge die maximal y = x erreicht, immer wieder aber auch auf Null abfällt.

2.Möglichkeit
x y z Darstellung
- Z-Achse Länge der 01 Folge 1 2 3 4 5 6 7 8 etc
- x -Achse alle Varianten für eine bestimmte Länge der 01 Folge
- y Achse Entropiewert

Es resultiert ein langsam anwachsendes Gebirge ( oder Tal bei negativen x Werten) der Entropie. Am Rand ist die Höhe (Entropiewert y Achse) jeweils 0 , zwischen drin erreicht der Wert mehrere Maxima der Entropie jeweils der Länge der 01 Folge entsprechend.

Das ganze funktioniert eher schlecht bei zu kurzen Sequenzen. ( was ist zb die Entropie von 01 oder 10 ) Das ganze funktioniert auch schlecht bei sehr langen Sequenzen, da die Berechnung sehr lang wird. Bei einer Länge 5 bis 25 müßten die Entropiewerte noch ganz gut berechenbar sein. Die Entropiewerte , die nicht als 0 definiert sind, können immer nur mit einer bestimmten Wahrscheinlichkeit zb p = 0,05 angegeben werden, aber nie ganz genau.

Siehe auch: http://www.madeasy.de/2/entropie.htm#Fragen

Vereinfachung: Entropiewert von 01 Folgen mit gleicher Zahl von 0 und 1

Man kann mit dem Runtest die Entropie einer 01 Folge relativ einfach berechnen, wenn man eine Vereinfachung einführt: Die Zahl von 0 und 1 in der Folge ist gleich ( oder kaum unterschiedlich ).

Wie das geht, zeigen folgende Internetseiten.

Entropielandschaft

Die Trennung von Zufall und Ordnung bei 01 Folgen

siehe Wikibooks Zufall

Die Universelle Entropielandschaft der 01 Folgen zeigt die Aufspaltung der Information in ungeordnete Information und 2 verschiedene Arten von Ordnung. Dabei werden die Zahlenwerte für Ordnung oder Unordnung mit dem Run-Test errechnet.

Der Anfang der Landschaft ist ganz einfach. Am Anfang ist auch noch keine Unterscheidung zwischen Ordnung und Zufall möglich.

1, 0

00, 01, 10, 11

000, 001, 010, 011, 100, 101, 111

0000, 0001, 0010, 0011, 0100, 0101, 0110, 0111, 1000, 1001, 1010, 1011, 1100, 1101, 1111

00000, 00001, 00010, 00011, 00100, 00101, 00110, 00111, 01000, 01001, 01010, 01011, 01100, 01101, 01111, 10000, 10001, 10010, 10011, 10100, 10101, 10110, 10111, 11000, 11001, 11010, 11011, 11100, 11101, 11111

Ab einer gewissen Länge ( zb 4 Zeichen) kann man Ordnung von Zufall trennen.

Zu beachten ist allerdings folgende Vereinfachung: Der RUN-Test liefert nur vernünftige Aussagen für Folgen, bei denen die Häufigkeit von 0 und 1 ungefähr gleich ist.

Die prinzipiellen Möglichkeit eine ganz brauchbare Trennung von Ordnung von Unordnung für 01 Folgen zu erlauben, wird durch diese Einschränkung allerdings nicht geschmälert. Das berühmte Chaitinsche Beispiel wird jedenfalls durch den Run-Test leicht und korrekt in die zufällige und in die geordnete Folge sortiert.

Chaitinkette A und B.

10101010101010101010 ( geordnete Reihe )
01101100110111100010 ( zufällige Reihe )

In der folgenden Abbildung sind als Beispiel die Entropie- und Ordnungswerte aller 01 Folgen mit 8 Stellen und gleicher Zahl von 0 und 1 grafisch dargestellt.

**Grafische Darstellung der Entropiewerte einer 8 Stellen langen 01 Folge**

Berechnet man die Entropiewerte für 01 Folgen verschiedener Länge und stellt die Ergebnisse grafisch dar, in dem man die jeweiligen einzelnen Kurven dreidimensional hintereinander oder perspektivisch anordnet, erhält man eine recht anschauliche universelle Entropielandschaft.

**Skizze einer universellen berechneten Ordnungs-Entropielandschaft von 01 Folgen**

Interessant an dieser Landschaft ist, daß sie eine universale mathematische Grafik darstellt, ähnlich wie etwa eine Juliamenge oder die Apfelmännchen.

Wenn man bedenkt, daß die Darstellung in Form von 0 und 1 Folgen die grundlegendste Darstellung einer jeden Information ( auch Schrift etc ) erlaubt, ist man doch erstaunt, daß diese Entropielandschaft noch nicht berechnet wurde und sich bisher in keiner Veröffentlichung der Mathematik, Statistik oder Informationstheorie wiederfindet.

Interessant ist ferner, daß die Auftrennung von Ordnung und Zufall nicht trivial ist, sondern nur statistisch erfolgen kann. Außerdem ist interessant, wie rauh und zerklüftet diese Landschaft sich darstellt.

Ferner liefert die Berechnung der Ordnungs- und Unordnungswerte Hinweise dafür, wie man eine alte Streitfrage der Informationstheorie, nämlich die über den Zusammenhang zwischen Information und Entropie beantworten muß:

Gesamtinformationsmenge = Menge an geordneter Information + Menge an Zufallsinformation.

Dies ergibt sich zb ganz einfach aus dem Zusammenfügen der Chaitinsequenz A und B zu einer neuen Folge AB, die anfangs geordnet und dann ungeordnet ist, deren Gesamtinformationsgehalt aber offensichtlich der Summe des Informationsgehaltes der Einzelketten entspricht.

Die Landschaft wird unberechenbar, der Gletscher schmilzt: Ab einer gewissen Länge der 01 Folgen sind die Ordnungsparameter nicht mehr in einem begrenzten Zeitraum berechenbar. Die Landschaft ist nicht mehr darstellbar. Allerdings kann man sich dann mit Stichproben behelfen.

Grenze zwischen Zufall und Ordnung

Interessant ist, dass an der Grenze zwischen Zufall und Ordnung verwaschene Verhältnisse vorliegen. Es gilt das Tur-Tur Prinzip. Je weiter weg man von der Grenze ist, desto klarer wird die Unterscheidung, je näher man daran ist, desto unschärfer und unsicherer wird sie.

Schachproblem

Schach als deterministisches System Läßt sich mathematisch eine optimale Gewinnstrategie für den Beginner beweisen, die schon vor einer kompletten Berechnung eintritt oder gibt es irgendwo ein sicheres Unentschieden ?

Zufall und Primzahlen

Was haben die Primzahlen mit dem Zufall zu tun ? Die Primzahlen kommen bei einer statistischen Betrachtung einer unbekannten, auf Zufall zu testenden 01 Folge ins Spiel, da nur Längen mit Primzahllänge als Teiler sinnvoll sind. Nichtprimzahlfolgen sind redundant. Siehe http://www.madeasy.de/2/prg01st.htm

Entropie in der Medizin

Es gibt nur eine Möglichkeit gesund zu sein, aber tausend Möglichkeiten krank zu sein.

Kritik an der Negentropie definition

Negentropie, Ordnung oder Entropie sind grobe Maßzahlen, die nichts über die Details eines komplizierten Systems aussagen:
- Die Negentropie, die Entropie und die Ordnung als physikalische Begriffe sind mathematisch eng miteinander verknüpft. Mißt man für ein System einen dieser Werte physikalisch oder errechnet ihn statistisch, erhält man einen einzelnen Wert, der eine grobe Anschauung über die vorhandene Struktur des Systems liefert. Eine echte vollständige Beschreibung eines komplizierteren Systems zB eines Schneekristalles , kann man damit nicht erreichen. Um ein solches System komplett zu verstehen, muß man wirklich alle Einzelheiten detailiert beschreiben.

Negentropie und Ordnung sind eng verwandt und mathematisch bzw physikalisch meist schlecht definiert.

Was ist Ordnung ?

Siehe http://de.wikibooks.org/wiki/Entropie#Entropie_und_Ordnung

Mathematische Definition von Ordnung

Mit dem Begriff Ordnung verbinden sich ganz verschiedene Vorstellungen. Will man Ordnung (wie es beispielsweise die Kristallchemie tut) als Gegensatz von Entropie ansehen, als Kehrwert zur Entropie, dann kann man folgende Formel aufstellen:

O = 1/ H    Ordnung = 1 / Entropie     daraus folgt  Entropie = 1 / Ordnung

Mit dieser Definition gibt es ein Problem: Bei einer Entropie von 0 wird die Ordnung unendlich groß. Die Vorstellung einer unendlich großen Ordnung ist unpraktisch und unanschaulich.

Als Beispiel wird betrachtet eine 40er Folge von 1 und 0

reiner Zufall: Entropie = 40 Bit Ordnung = sehr niedrig
- 1011011010101001110010110011100000011110
reine Ordnung: Entropie = 0 Bit Ordnung = maximal
- 1111111111111111111111111111111111111111
- 0000000000000000000000000000000000000000

Wie soll man dann Ordnung definieren?

O = 1 / H

daraus folgt eine Spannweite der Ordnung von O = 1/40 bis O = Unendlich

Wahrscheinlich ist folgende Lösung besser:

O = 1 / (H + 1)

daraus folgt eine Spannweite der Ordnung von O = 1/41 bis O = 1

Abgeleitet davon kann man die Ordnung als Prozentwert angeben:

O = 100 / ( H + 1) %

daraus folgt eine Spannweite der Ordnung von O = 100 /41 % = 2,5 % Ordnung bis 100 % Ordnung

Falsche Vorstellungen höherer Ordnung

Wie der Begriff höhere Ordnung für alle Dinge mit einer komplexeren Struktur suggeriert, haben diese Strukturen einen höheren Betrag an Ordnung. Das ist falsch. Der Betrag der Ordnung sinkt bei komplexeren Ordnungen wieder gegenüber einfachen Ordnungen. Beispiel:

Einkristall aus Wasser
- maximaler Ordnungsgwert
Schneekristall mit höherer komplizierter Ordnung
- Ordnungswert niedriger , es herrscht bereits wieder mehr Unordnung.
- Schneekristalle müssten deswegen auch leichter zu schmelzen sein als Einkristalle.

Zwei Arten von einfacher Ordnung

Es gibt zwei verschiedene Arten von einfacher Ordnung:

die symmetrische Ordnung
- 11111111110000000000
die wiederholende Ordnung
- 10101010101010101010

Sie unterscheiden sich durch verschiedene Vorzeichen im RUNtest.