Diskussion:Entropie: Ordnung

Einiges auf dieser Diskussionsseite wurde aus Wikipedia  Zufallsinformation übernommen

Bit,kB und KiB

Äh, sorry, aber ist eine Datei "mit 20 Stellen" Länge nicht genau 20 Bits groß? Und nicht 130 kB? Und was macht das "i" im KiB?

Ein interessierter wikiReader

rho Gemeint ist die Gesamtzahl der verschiedenen Möglichkeiten, die man in einer 20 Stellen langen binären Folge unterbringen kann:

• 00000000000000000000
• 00000000000000000001
• 00000000000000000010
• .
• .
• .
• 01111111111111111111
• 11111111111111111111

KiB sind 1024  Byte und nicht 1000 Byte

• Siehe  Byte

Beispiel zur Entropie

Hallo, Ich bin kein Informationstheoretiker oder Mathematiker, aber soweit ich den Begriff Entropie nach Shannon verstanden habe stimmen die Beispiele zur Entropie eines Signals in diesem Artikel nicht. Zumindest nicht so wie es hier behauptet wird.

Die Entropie berechnet sich (nach Shannon) durch diese Formel: $H(X)=-\sum _{i=1}^{|Z|}{p_{i}}\cdot \log _{2}({p_{i}})$

Das bedeutet die Folge "10101010101010101010" hat eine Entropie von 1 und nicht 0. Das bedeutet, dass die Wahrscheinlichkeit in der Folge auf eine Eins oder Null zu stoßen 0.5 ist. Beide Zahlen kommen gleich häufig vor.

Tatsächlich ist die Entropie der Folge "01101100110111100010" sogar geringer als 1, nämlich: ~0.9927744. Die Aussage, dass diese Folge eine Entropie von 20 bit hätte ist schon alleine deshalb falsch, weil Binärquellen eine maximale Entropie von 1 besitzen. Die Entropie liegt also immer zwischen 0 und 1 (bit/Zeichen). Ich denke, dass mit den 20bit hier eher die notwendige Anzahl von Bits, die zur Darstellung der Information notwendig sind, gemeint ist.

Um der intuitiven Vorstellung gerecht zu werden, dass eine Folge wie "10101010101010101010" eine Entropie von 0 hat, muss man sich anderer Methoden als der Entropie nach Shannon bedienen. Eine einfache Möglichkeit wäre der Run-Test, der für diese Folge eine Komplexität von 0 ergiebt. Weitere Möglichkeiten bieten die bedingte Entropie, die Quellentropie und die Kolmogorow-Komplexität.

Ich bin mir sicher, dass der Autor dieses Artikels von diesen Dingen um einiges mehr versteht als ich und, dass er wahrscheinlich davon ausgeht, dass es klar wäre, dass hier nicht die Entropie nach Shannon gemeint sein kann. Trotzdem würde ich bitten, dass jemand mit mehr Fachwissen als ich diesen Artikel so überarbeitet, dass Missverständnissen vorgebeugt wird.

Antwort Rho: Stimmt, die Folge "10101010101010101010" hat eine Entropie von 1 und nicht 0. Denn die Entscheidung ob am Anfang der Folge eine 1 oder eine 0 steht ist willkürlich. Hier steckt eine gleichberechtigte Zufallsentscheidung mit 2 Möglichkeiten drin. Das bedeutet, dass die Wahrscheinlichkeit in der Folge auf eine Eins oder Null zu stoßen 0.5 ist. Beide Zahlen kommen gleich häufig vor.

Denn zweiten Teil verstehe ich nicht:

Tatsächlich ist die Entropie der Folge "01101100110111100010" sogar geringer als 1, 
nämlich: ~0.9927744.
Die Aussage, dass diese Folge eine Entropie von 20 bit hätte 
ist schon alleine deshalb falsch, 
weil Binärquellen eine maximale Entropie von 1 besitzen. 
Die Entropie liegt also immer zwischen 0 und 1 (bit/Zeichen). 

Entropie in Abhängigkeit der Zahl der Münzwürfe

Die Zufallsfolge 01101100110111100010 sehe ich als 20 fachen Münzwurf an. Dann hat sie auch eine Entropie von 20 Bit.

Benutzer:Rho

Frage zum Begriff Ordnung

Ich habe noch eine Frage zum Begriff Ordnung.

In diesem Artikel wird folgende Definition von Ordnung vorgeschlagen:

O = 100 / ( E + 1) % daraus folgt O = 100 /41 % = 2,5 % Ordnung bis 100 % Ordnung

Das würde doch bedeuten, dass es keine Ordnung von 0% gibt? Intuitiv hätte ich gedacht, dass bei einer Entropie von 1 die Ordnung 0 sein sollte, und umgekehrt... Welche Anwendungen findet obige Ordnungsdefinition und welche Vorteile hat man wenn man zusätzlich zur Entropie auch noch eine Ordnungszahl von 2,5% bis 100% angibt?

Mich würde auch sehr interessieren ob es zu diesen Formeln irgendwelche Quellenangaben gibt, damit man sich näher mit dem Thema auseinandersetzen kann.

Danke im Vorhinein

Antwort von Rho: Das ist ein Vorschlag von mir. Ich kenne die einschlägige mathematische und physikalische Diskussion zum Begriff  Ordnung nicht. Mich ärgert nur immer der kritik- und mathematiklose Gebrauch des Begriffes. Benutzer:Rho

QS

Eine sehr essayistische Abhandlung, die einst aus einem WikiBook übernommen wurde, und seither munter hin und her fabuliert, Aspekte in "eher langweilig" und "wahrscheinlich besser" einteilt, nach eigener Beurteilung "problematische Formeln" aufstellt, usw. Gehört wohl nahezu komplett neu formuliert. --YMS (Diskussion) 16:59, 5. Mär. 2008 (CET)