Information: Ordnung
Aus Wikibooks
Zurück zur Übersicht
Inhaltsverzeichnis |
[Bearbeiten] Information und Ordnung
Obwohl der Begriff Ordnung bzw. geordnete Struktur , geordnete Information essentiell für die Informationstheorie ist und sich eigentlich die gesamte Mathematik mit mehr oder minder geordneten Strukturen beschäftigt, findet sich in den Mathematikbüchern kaum ein Wort darüber, was Ordnung eigentlich ist und wie man es mathematisch definieren könnte.
Die beste Definition für den Begriff Ordnung kommt aus der 
Kristallographie: Dort hat ein Kristall die höchste Ordnung, wenn es sich um einen Einkristall mit perfekter Reinheit ohne Fehlstellen und ohne Vermischung durch andere Elemente handelt.
Alle Atome stehen dann in diesem Kristall in Reihe und Glied.
[Bearbeiten] Höhere Ordnung, ein ißverständlicher Begriff
Viele Dinge denen man eine vermeintlich höhere Ordnung zuspricht, wie beispielsweise Schneeflocken, haben nach dieser Definition verglichen mit der perfekten Ordnung des Einkristalles mathematisch eine niedrigere Ordnung.
Ein paar einfache Beispiele sollen dies verdeutlichen:
[Bearbeiten] Beispiele für geordnete und nicht geordnete Strukturen
Gregory Chaitin hat 2 treffende, ganz einfache Beispiele veröffentlicht, um den Unterschied zwischen zufällig und geordnet zu demonstrieren.
01010101010101010101 01101100110111100010
Dabei hat er bei seinen 2 Beispielen eigentlich noch etwas vergessen:
Zwischen perfekter Ordnung und kompletter Zufallsordnung, gibt es noch gemischt geordnete Strukturen. Zu Verdeutlichung sind die Beispiele hier jeweils 40 Zeichen lang und nicht nur 20 wie bei Chaitin.
Abbildung 0: 
Hohe Ordnung : Entropie nahe Null
1111111111111111111111111111111100000000000000000000000000000000
Abbildung 1: 
Hohe Ordnung , entspricht einer verlängerten Chaitin Kette A , Entropie nahe Null
0101010101010101010101010101010101010101010101010101010101010101
Abbildung 2: 
In sich geschlossene Ordnung höhererArt , komplizierte Ordnung mit Symmetrie
1111111110000001100001011000100110010001101000011000000111111111
Abbildung 3: 
Logische Ordnung höherer Art , Logische Folge zB binäre Zahlen von 0000 bis 1111
0000000100100011010001010110011110001001101010111100110111101111
Abbildung 4: 
Zufallsordnung Entropie maximal , 64 zbit , entspricht einer verlängerten Chaitin B Kette
0100111110101110101000010101001101011010001100101110010000010111
[Bearbeiten] Zahl der Möglichkeiten
Betrachtet man eine binäre Datei einer bestimmten Länge z. B. mit 20 Stellen, dann kann man die Gesamtinformationsmenge aller Möglichkeiten ausrechnen, die mit 20 Stellen und 2 Zeichen dargestellt werden kann:
Gemeint ist die dabei die Gesamtzahl der verschiedenen Möglichkeiten, die man in einer 20 Stellen langen binären Folge unterbringen kann:
00000000000000000000 00000000000000000001 00000000000000000010 . . . 01111111111111111111 11111111111111111111
KiB sind 1024 Byte und nicht 1000 Byte.
Ein Teil der Möglichkeiten aus dieser Gesamtinformationsmenge sind reine Zufallsfolgen, der Rest sind mehr oder minder geordnete Folgen. Die Grenze zwischen beiden Bereichen ist nicht scharf zu ziehen, sondern nur mit einem Wahrscheinlichkeitsniveau von z. B. 95 % festzulegen. Je weiter man von der Grenze weg ist, desto klarer ist die Zuordnung. Gregory Chaitin hat zwei Beispiele genannt:
- Geordnete Reihe: 10101010101010101010
- Zufall = 0 oder fast Null
- Ungeordnete Reihe: 01101100110111100010
- Zufällige Folge
Beide Reihen haben dieselbe Länge und denselben Speicherplatzbedarf an Bits, trotzdem unterscheiden sie sich fundamental. Die Menge an Zufall einer Reihe lässt sich durch die Entropie bzw. den Informationsgehalt quantifizieren, bezüglicher der sich beide Reihen sehr stark unterscheiden. Dies ist Gegenstand der Informationstheorie, die erstmals von Claude Shannon formalisiert wurde. Die erste Reihe hat zum Beispiel eine Entropie von 0 oder nahe 0, die zweite Reihe hat eine Entropie von 20 bit.
[Bearbeiten] Definition der Ordnung
[Bearbeiten] Mathematische Definition von Ordnung
In der Kristallchemie wird Ordnung als Gegensatz von Entropie angesehen. Man definiert Ordnung als Kehrwert zur Entropie, dann kann man folgende Formel aufstellen:
O = 1/ H Ordnung = 1 / Entropie daraus folgt Entropie = 1 / Ordnung
Mit dieser Definition gibt es ein Problem: Bei einer Entropie von 0 wird die Ordnung unendlich groß. Die Vorstellung einer unendlich großen Ordnung ist unpraktisch und unanschaulich.
Als Beispiel wird eine 40er Folge von 1 und 0 betrachtet:
reiner Zufall: Entropie = 40 Bit Ordnung = sehr niedrig 1011011010101001110010110011100000011110
reine Ordnung: Entropie = 0 Bit Ordnung = maximal 1111111111111111111111111111111111111111 0000000000000000000000000000000000000000
Wie soll man dann Ordnung definieren?
O = 1 / H
daraus folgt eine Spannweite der Ordnung von O = 1/40 bis O = Unendlich ¥
Wahrscheinlich ist folgende Lösung besser:
O = 1 / (H + 1)
daraus folgt eine Spannweite der Ordnung von O = 1/41 bis O = 1
Abgeleitet davon kann man die Ordnung als Prozentwert angeben:
O = 100 / ( H + 1) %
daraus folgt eine Spannweite der Ordnung von O = 100 /41 % = 2,5 % Ordnung bis 100 % Ordnung
[Bearbeiten] Links
- http://www.cs.auckland.ac.nz/CDMTCS/chaitin/sciamer.html
- Chaitins Beispiele einer zufälligen und einer geordneten binären Folge.
