Diskussion:Datenkompression: Theoretische Grundlagen

Entropie in der Chemie vs Entropie in der Informatik

Hallo ThePacker, tut mir sehr leid, dass wir bei den "Regeln" einmal so hart aneinander geraten sind. Deine Arbeit hier ist beeindruckend. Ein Mammutwerk. Ich wünsche dir großes Durchhaltevermögen dafür. Verstehe allerdings wenig von der Materie. - Eine technische Frage: Die Entropie kommt auch bei uns Chemikern vor, in der Thermodynamik. Dort hat sie eine Dimension, nämlich Wärme/Temperatur. Und sie ist proportional zum Logarithmus der Wahrscheinlichkeit des Mikrosystems (Boltzmann-Gleichung). Ich bin lange aus der Chemie raus, aber immer wieder taucht die Entropie irgendwo auf und ich frage mich, ob die Informatiker wirklich dasselbe meinen wie die Chemiker (wo ist die Dimension geblieben)? - Mach dir keine zusätzliche Arbeit damit. Vielleicht fällt dir bei deinen Forschungen was dazu ein oder auf. Ich glaube, da könnte mal was Wichtiges aufgeklärt werden. Gruss --Hjn 16:29, 29. Mär 2006 (UTC)

Im Prinzip ist die Entropie in der Informationstheorie ein Maß für die Ungewissheit und wird in Anzahl von Entscheidungen gemessen. Dabei kommt es darauf an, wie viele Entscheidungen man treffen muss und ob sie mehrwertig sind. Das ist abhängig von der Basis des Logarithmus. Wenn ich eine Binärentscheidung treffe, dann ist die resultirenende Einheit 'Bit' von 'binary digit' im Gegensatz zu 'decimal digit'. Du weist mich darauf hin, dass ich den Aufsatz von Herrn Claude Shannon mal hier einarbeiten wollte. Ich bin bislang noch nicht dazu gekommen. Und vielen Dank für die Blumen! -- ThePacker 17:09, 29. Mär 2006 (UTC)