Information: Ordnung

Zurück zur Übersicht

Information und Ordnung

Obwohl der Begriff Ordnung bzw. geordnete Struktur , geordnete Information essentiell für die Informationstheorie ist und sich eigentlich die gesamte Mathematik mit mehr oder minder geordneten Strukturen beschäftigt, findet sich in den Mathematikbüchern kaum ein Wort darüber, was Ordnung eigentlich ist und wie man es mathematisch definieren könnte.

Die beste Definition für den Begriff Ordnung kommt aus der Kristallographie: Dort hat ein Kristall die höchste Ordnung, wenn es sich um einen Einkristall mit perfekter Reinheit ohne Fehlstellen und ohne Vermischung durch andere Elemente handelt.

Alle Atome stehen dann in diesem Kristall in Reihe und Glied.

Höhere Ordnung, ein missverständlicher Begriff

Viele Dinge denen man eine vermeintlich höhere Ordnung zuspricht, wie beispielsweise Schneeflocken, haben nach dieser Definition verglichen mit der perfekten Ordnung des Einkristalles mathematisch eine niedrigere Ordnung.

Ein paar einfache Beispiele sollen dies verdeutlichen:

Beispiele für geordnete und nicht geordnete Strukturen

Gregory Chaitin hat 2 treffende, ganz einfache Beispiele veröffentlicht, um den Unterschied zwischen zufällig und geordnet zu demonstrieren.

01010101010101010101
01101100110111100010

Dabei hat er bei seinen 2 Beispielen eigentlich noch etwas vergessen:

Zwischen perfekter Ordnung und kompletter Zufallsordnung, gibt es noch gemischt geordnete Strukturen. Zu Verdeutlichung sind die Beispiele hier jeweils 40 Zeichen lang und nicht nur 20 wie bei Chaitin.

Abbildung 0:

Hohe Ordnung : Entropie nahe Null

1111111111111111111111111111111100000000000000000000000000000000

Abbildung 1:

Hohe Ordnung , entspricht einer verlängerten Chaitin Kette A , Entropie nahe Null

0101010101010101010101010101010101010101010101010101010101010101

Abbildung 2:

In sich geschlossene Ordnung höhererArt , komplizierte Ordnung mit Symmetrie

1111111110000001100001011000100110010001101000011000000111111111

Abbildung 3:

Logische Ordnung höherer Art , Logische Folge zB binäre Zahlen von 0000 bis 1111

0000000100100011010001010110011110001001101010111100110111101111

Abbildung 4:

Zufallsordnung Entropie maximal , 64 bit , entspricht einer verlängerten Chaitin B Kette

0100111110101110101000010101001101011010001100101110010000010111

Zahl der Möglichkeiten

Betrachtet man eine binäre Datei einer bestimmten Länge z. B. mit 20 Stellen, dann kann man die Gesamtinformationsmenge aller Möglichkeiten ausrechnen, die mit 20 Stellen und 2 Zeichen dargestellt werden kann:

I = 2²⁰ = 1 048 576

Bit = 2¹⁷

Byte = ca. 130 KiB

Gemeint ist die dabei die Gesamtzahl der verschiedenen Möglichkeiten, die man in einer 20 Stellen langen binären Folge unterbringen kann:

00000000000000000000
00000000000000000001
00000000000000000010
.
.
.
01111111111111111111
11111111111111111111

KiB sind 1024 Byte und nicht 1000 Byte.

Ein Teil der Möglichkeiten aus dieser Gesamtinformationsmenge sind reine Zufallsfolgen, der Rest sind mehr oder minder geordnete Folgen. Die Grenze zwischen beiden Bereichen ist nicht scharf zu ziehen, sondern nur mit einem Wahrscheinlichkeitsniveau von z. B. 95 % festzulegen. Je weiter man von der Grenze weg ist, desto klarer ist die Zuordnung. Gregory Chaitin hat zwei Beispiele genannt:

Geordnete Reihe: 10101010101010101010

Zufall = 0 oder fast Null

Ungeordnete Reihe: 01101100110111100010

Zufällige Folge

Beide Reihen haben dieselbe Länge und denselben Speicherplatzbedarf an Bits, trotzdem unterscheiden sie sich fundamental. Die Menge an Zufall einer Reihe lässt sich durch die Entropie bzw. den Informationsgehalt quantifizieren, bezüglicher der sich beide Reihen sehr stark unterscheiden. Dies ist Gegenstand der Informationstheorie, die erstmals von Claude Shannon formalisiert wurde. Die erste Reihe hat zum Beispiel eine Entropie von 0 oder nahe 0, die zweite Reihe hat eine Entropie von 20 bit.

Definition der Ordnung

Mathematische Definition von Ordnung

In der Kristallchemie wird Ordnung als Gegensatz von Entropie angesehen. Man definiert Ordnung als Kehrwert zur Entropie, dann kann man folgende Formel aufstellen:

Or = 1/ H    Ordnung = 1 / Entropie

daraus folgt

Entropie = 1 / Ordnung

Mit dieser Definition gibt es ein Problem: Bei einer Entropie von 0 wird die Ordnung unendlich groß. Die Vorstellung einer unendlich großen Ordnung ist unpraktisch und unanschaulich.

Als Beispiel wird eine 40er Folge von 1 und 0 betrachtet:

reiner Zufall: Entropie = 40 Bit  Ordnung = sehr niedrig
1011011010101001110010110011100000011110

reine Ordnung: Entropie = 0 Bit   Ordnung = maximal 
1111111111111111111111111111111111111111
0000000000000000000000000000000000000000

Or = 1 / H

daraus folgt eine Spannweite der Ordnung von Or = 1/40 bis Or = Unendlich

Wahrscheinlich ist folgende Lösung besser:

Or = 1 / (H + 1)

daraus folgt eine Spannweite der Ordnung von Or = 1/41 bis Or = 1

Abgeleitet davon kann man die Ordnung als Prozentwert angeben:

Or = 100 / ( H + 1) %

daraus folgt eine Spannweite der Ordnung von Or = 100 /41 % = 2,5 % Ordnung bis 100 % Ordnung

Links

http://www.cs.auckland.ac.nz/CDMTCS/chaitin/sciamer.html
- Chaitins Beispiele einer zufälligen und einer geordneten binären Folge.