physikalischer Wert für Information?

[Philipp E. Letschert]

gibt es sowas?

ich meine nicht Speichergröße in Bytes, sondern z.B. Gewicht von
Information. Nachdem ich gelesen habe, dass Information ein geordneter
Zustand ist, welcher Energie zur Erzeugung (und Aufrechterhaltung)
benötigt. Ein Datenträger wird dann nach E = mc2 "physikalisch kühler"
und somit theoretisch leichter, oder wars umgekehrt? [*]

Gibt es noch andere Zusammenhänge oder Überlegungen dieser Art? Mir sind
eben die Stichwörter zum googlen ausgegangen...


Viele Grüße,
Phil

[*] frei nach PM-Heft und Stanislaw Lem

[Stefan Ram]

Post by Philipp E. Letschert
ich meine nicht Speichergröße in Bytes, sondern z.B. Gewicht von
Information.

»Die Information eines Bitwertes ist der Entropie eines
Bitspeichers gleich. Die Entropie eines Bitspeichers
ergibt sich zu k ln(2) mit der Boltzmann-Konstanten k, mit
k ~ 1,380 6505 · 10^(-23) J/K. Ein Bit ist also ungefähr
gleich 9,57 · 10^(-24) J/K, oder in etwa 10^(-23) J/K.

Beim irreversiblen Einstellen eines Bitspeichers wird
dessen Entropie um 1 Bit vermindert, diese Entropie muß
dabei also mindestens nach außen transportiert werden. Bei
der Temperatur T muß also mindestens die Abwärme-Energie
T Bit abtransportiert werden, falls das Einstellen
irreversibel realisiert wird.«

http://www.purl.org/stefan_ram/pub/bit

Bei der im allgemeinen irreversibel realisierten
Informationsverarbeitung in Rechenanlagen wird Entropie
erzeugt. Der Wärmeenergie entspricht auch eine bestimmte Masse
(Energie), die aber von der Temperatur und Details der
Prozeßrealisierung abhängt.

[Philipp E. Letschert]

Post by Stefan Ram

[zitierter Text ausgeblendet]

»Die Information eines Bitwertes ist der Entropie eines
Bitspeichers gleich. Die Entropie eines Bitspeichers
ergibt sich zu k ln(2) mit der Boltzmann-Konstanten k, mit
k ~ 1,380 6505 · 10^(-23) J/K. Ein Bit ist also ungefähr
gleich 9,57 · 10^(-24) J/K, oder in etwa 10^(-23) J/K.
Beim irreversiblen Einstellen eines Bitspeichers wird
dessen Entropie um 1 Bit vermindert, diese Entropie muß
dabei also mindestens nach außen transportiert werden. Bei
der Temperatur T muß also mindestens die Abwärme-Energie
T Bit abtransportiert werden, falls das Einstellen
irreversibel realisiert wird.«
http://www.purl.org/stefan_ram/pub/bit
Bei der im allgemeinen irreversibel realisierten
Informationsverarbeitung in Rechenanlagen wird Entropie
erzeugt. Der Wärmeenergie entspricht auch eine bestimmte Masse
(Energie), die aber von der Temperatur und Details der
Prozeßrealisierung abhängt.

Ah, vielen Dank! Entropie war der Begriff der mir weiterhilft.


Das ist jetzt off-topic, aber wäre toll wenn es jemand kennt:

Es gibt eine Kuzgeschichte von Stanislaw Lem zu diesem Thema. Ein
Wissenschaftler baut einen riesigen Computer auf einer unvorstellbar
genauen Waage um diesen Effekt zu messen. Nachdem er sein ganzes Leben
lang gigantische Informationsmengen in den Computer gespeichert hat ist
dieser tatsächlich um 1 Gramm leichter geworden. Er bekommt dann aber
erklärt, dass seine Arbeit vergebens war und eine solche Messung vom
Prinzip her sinnlos sei.

Weiß jemand zufällig den Titel und den Band dieser Geschichte? Ich
würd das gern nochmal lesen - falls ich es finde...

[Joachim Pimiskern]

Post by Philipp E. Letschert
Es gibt eine Kuzgeschichte von Stanislaw Lem zu diesem Thema. Ein
Wissenschaftler baut einen riesigen Computer auf einer unvorstellbar
genauen Waage um diesen Effekt zu messen. Nachdem er sein ganzes Leben
lang gigantische Informationsmengen in den Computer gespeichert hat ist
dieser tatsächlich um 1 Gramm leichter geworden. Er bekommt dann aber
erklärt, dass seine Arbeit vergebens war und eine solche Messung vom
Prinzip her sinnlos sei.

In "Also sprach Golem" löst sich der Geist des Computers von
der Materie und lebt als Lichtwesen weiter. Genauer gesagt, es waren
zwei Computer, Honest Annie und der gesprächigere Golem.

Die Erbauer versuchten, die Computer durch Sicherungsmaßnahmen
unter Kontrolle zu bringen (dies erinnert an die Asimovschen Gesetze),
aber irgendjemand bewies dann, daß ein Rechner bei hinreichender
Intelligenz jede Sperre umgehen kann.

Grüße,
Joachim

[Philipp Wehrli]

Post by Philipp E. Letschert
gibt es sowas?
ich meine nicht Speichergröße in Bytes, sondern z.B. Gewicht von
Information. Nachdem ich gelesen habe, dass Information ein geordneter
Zustand ist, welcher Energie zur Erzeugung (und Aufrechterhaltung)
benötigt. Ein Datenträger wird dann nach E = mc2 "physikalisch kühler"
und somit theoretisch leichter, oder wars umgekehrt? [*]

Man muss hier aufpassen, denn die Begriffe 'Information' und Entropie
werden nicht in allen Fachbereichen gleich verwendet. Manchmal wird
'Information' mit negativer Entropie gleichgesetzt, manchmal mit
positiver.

Bemerkenswert ist die Erkenntnis von Bekenstein und Hawking, dass die
Entropie eines schwarzen Loches proportional zu seiner Oberfläche ist.
Entropie hat also etwas mit der Geometrie der Raumzeit zu tun. Siehe
dazu auch:
http://homepage.hispeed.ch/philipp.wehrli/Physik/Kosmologie/Diracs_grosse_Zahlen/diracs_grosse_zahlen.html

Ein anderer Satz besagt, dass beim Speichern von Information nicht
zwingend Information verloren geht, beim Löschen aber schon. In diesem
Zusammenhang stellten J. von Neumann und L. Brillouin die umstrittene
Vermutung auf, dass
E=kT ln2
die Energiemenge sein, die thermodynamisch mindestens aufgewendet
werden müsse, um eine binäre Alternative zu entscheiden. (Weiteres in
Holger Lyre, 'Quantentheorie der Information'.

In der Urtheorie von C.F. von Weizsäcker wird versucht, die gesamte
Physik auf eine Quantentheorie der Information zurückzuführen.
Verständlich wird die Argumentation aber nur, wenn man Gruppentheorie,
Relativitätstheorie und Quantentheorie ausreichend beherrscht.

[Adolf Göbel]

Am 18 Dec 2006 11:55:17 -0800 schrieb Philipp Wehrli:

[]

Post by Philipp Wehrli
In der Urtheorie von C.F. von Weizsäcker wird versucht, die gesamte
Physik auf eine Quantentheorie der Information zurückzuführen.
Verständlich wird die Argumentation aber nur, wenn man Gruppentheorie,
Relativitätstheorie und Quantentheorie ausreichend beherrscht.

Gibt/gab es eine fachliche Diskussion über von Weizsäckers Urtheorie?
Und wenn ja, Literaturhinweise oder Links?

Grüße
Adi

[Philipp Wehrli]

Post by Adolf Göbel
[]

Post by Philipp Wehrli
In der Urtheorie von C.F. von Weizsäcker wird versucht, die gesamte
Physik auf eine Quantentheorie der Information zurückzuführen.
Verständlich wird die Argumentation aber nur, wenn man Gruppentheorie,
Relativitätstheorie und Quantentheorie ausreichend beherrscht.

Gibt/gab es eine fachliche Diskussion über von Weizsäckers Urtheorie?
Und wenn ja, Literaturhinweise oder Links?

Das ursprüngliche Werk ist:
C. F. von Weizsäcker, 'Aufbau der Physik'

Die Weiterentwicklung ist dargestellt in:
Lutz Castell, Otfried Ischebeck u. a., 'Time, Quantum and Information'
und
Holger Lyre, 'Quantentheorie der Information'
Im Internet habe ich einige Artikel gefunden, die allerdings alle nicht
sehr tief gehen.

[Kay-Michael Voit]

Von allem gesagten abgesehen, darf nicht vergessen, was information ist.
Deiner Festplatte ist es nämlich egal, ob die Bitordnung darauf sinnvoll
ist, oder nicht.

[Stefan Ram]

Post by Kay-Michael Voit
Von allem gesagten abgesehen, darf nicht vergessen, was information ist.
Deiner Festplatte ist es nämlich egal, ob die Bitordnung darauf sinnvoll
ist, oder nicht.

Objektiv betrachtet, ist dies auch Information; nämlich daß
das Bitmuster auf der Festplatte so-und-so ist.

Diese Information muß für einen Empfänger nicht nützlich sein,
was aber auf die meiste Information zutrifft.

[Roland Damm]

Moin,

Post by Stefan Ram

Post by Kay-Michael Voit
Von allem gesagten abgesehen, darf nicht vergessen, was information
ist. Deiner Festplatte ist es nÃ?mlich egal, ob die Bitordnung
darauf sinnvoll ist, oder nicht.

Objektiv betrachtet, ist dies auch Information; nämlich daß
das Bitmuster auf der Festplatte so-und-so ist.
Diese Information muß für einen Empfänger nicht nützlich sein,
was aber auf die meiste Information zutrifft.

Wenn aber die Bit-Ordnung auf der Platte einer echten Energie
zugeordnet werden kann, dann kann das oder die Entropie
offensichtlich auch als Informationsgehalt gedeutet werden. Das wird
zu einem Problem, man könnte dann also mit einer Wage feststellen,
wie viel Information auf einer Festplatte ist und zwar vollkommen
unabhängig davon, ob man diese Information verarbeiten kann oder
nicht.
Andererseits kann man aber durch eine passende Codierung jede
Information in Bits so abspeichern, dass sie als reine 0-Folge
abgelegt wird. Beim lesen lässt sie sich bei entsprechendem
Codierungsverfahren wieder in die Ausgangsform zurückverwandeln. Mit
der Codierungs-Spitzfindigkeit sieht man also, dass einer Bitfolge
nicht angesehen werden kann, ob sie Informationen beinhaltet, wenn
man nicht das Codierungsverfahren kennt.

Man bekommt also irgendwo Probleme mit verschwundener Energie oder
meinetwegen auch Entropie: Allein das Codierungsverfahren entscheidet
darüber, wie viel Entropie die Festplatte nachher hat, das
Codierungsverfahren seinerseits arbeitet aber Verlustfrei (es geht
bei der Codierung keine Information verloren, Ein- und Ausgabevektor
sind eineindeutig zugeordnet -> kein Einfluss auf Entropie irgendwo).
Soll also jetzt das Codierungsverfahren darüber entscheiden, wie viel
Energie die Informatonsquelle zum Senden der Information an den
Codierer übertragen muss? Auch nicht gerade schlüssig.

CU Rollo

[Stefan Ram]

Post by Roland Damm
Soll also jetzt das Codierungsverfahren darüber entscheiden, wie viel
Energie die Informatonsquelle zum Senden der Information an den
Codierer übertragen muss? Auch nicht gerade schlüssig.

Ein Mikrozustand - und von dem reden wir hier - hat gar keine
Entropie. Die Entropie der gesamten Festplatte (Makrozustand
»Es ist eine Festplatte mit ... Bit«) ist gerade ihre Speicherkapazität.

[Kay-Michael Voit]

Post by Stefan Ram
Objektiv betrachtet, ist dies auch Information; nämlich daß
das Bitmuster auf der Festplatte so-und-so ist.
Diese Information muß für einen Empfänger nicht nützlich sein,
was aber auf die meiste Information zutrifft.

Genau das sagte ich. - Weil ich den Eindruck hat, der Poster könnte
glauben, dass Defragmentieren die Temperatur der Fetsplatte erhöht. (Tut
es natürlich, aber sicher nciht wegen Entropie der Daten)

[Gerhard Tenner]

Post by Stefan Ram

Post by Kay-Michael Voit
Von allem gesagten abgesehen, darf nicht vergessen, was
information ist. Deiner Festplatte ist es n??mlich egal, ob
die Bitordnung darauf sinnvoll ist, oder nicht.

Objektiv betrachtet, ist dies auch Information; nämlich daß
das Bitmuster auf der Festplatte so-und-so ist.
Diese Information muß für einen Empfänger nicht nützlich
sein, was aber auf die meiste Information zutrifft.

Du bist hier der Antwort auf die urspruenliche Frage auf der Spur.

Wie so oft ist es eine falsche Praemisse, die die Antwort verseucht.

Das betrifft im wesentlichen zwei Dinge:
Zum einen ist es eine sehr abstuse Vereinbarung, Information in Bit messen
zu wollen. Man kann zwar was in Bit messen, man kann das auch Information
nennen - es ist dann aber nicht mehr da, was Mensch unter quantitativem
Mass einer Information versteht. Information ist niemals Kontextfrei und
wer nicht nur das ja oder nein sondern auch "ja oder nein zu was" messen
will, wird scheitern mit Bit als Einheit. So was simples wie "der Mensch
ist tot" wird fuer Mediziner, die eine Organentnahme zu entscheiden haben
von einer dualem zu einer hochkomplexen Fragestellung.

Das zweite ist, das sich bei den Bits nichts aendert - es ist absurd dem
Null-Bit ein anderes physikalisches Mass zuzuordnen als dem 1-Bit, welcher
Zustand was ist, das ist reine Vereinbarung. Und ganz gewiss sind 500
Nullbit weder mehr noch weniger als 500 1-Bits oder irgendein Muster aus
beiden Arten gemischt. Da einen Informationsgefuellten Computer schwerer
messen zu wollen (eine Erzaehlung von Lem war ja hier genannt) kann nur
erstaunen. Er kann schwerer sein, weil sich an ihm was physikalisch
aendert - diese Aenderung wird aber unmoeglich eine der geaenderten
Information quantitativ zuordenbere Groesse sein. Das ist so quer gedacht
wie die dank abgemeiseltem Stein leichter gewordenen Steinplatten grauer
Vorzeit zwecks Informationsmengenbestimmung im Gewicht vergleichen zu
wollen. Was da rausgemeisselt wurde hat zwar den Zweck, zu informieren,
aber das fehlende ist kein Mass.

Wenn Hendrik in seiner Antwort auf den Unterschied zwischen wahrscheinlich
und sicher abhebt, dann versucht er dies zu umschiffen. Auch dies macht
aber nur in einem sehr engem Kontext Sinn. Es mag ihn erstaunen, das
manche Philosophen durchaus das als Definition von Information benutzen:
Beseitigung von Ungewissheit. Und sofort kommt hier wieder rein, das das
kein objektives Mass sein kann - denn ob was ungewiss ist und ob ein
konkretes Datum eine Ungewissheit beseitigt, ist vom Informationsstand des
Empfaengers abhaengig und nicht vom "zugefuehrten" Datum. Selbst kein
Informationszufluss kann genau das sein: Beseitigung von Ungewissheit.
Tragisch zu beobachten, wenn nach Bergwerksunglueck gehorcht wird oder wem
der Puls gefuehlt ...

Kurz gefasst: Information ist keine physikalische Groesse und hat keinen
physikalischen (Mess)Wert.


Gruss Gerhard

Origin: Lohnarbeit muß sich lohnen für den, der zahlt.
Nicht Arbeit muß sich da lohnen, sondern arbeiten lassen.
---

[Christian Gollwitzer]

[ sehr gutes und nützliches gekürzt ]
Kurz gefasst: Information ist keine physikalische Groesse und hat keinen
physikalischen (Mess)Wert.

Das ist richtig. Man kann aber trotzdem unter Kenntnis gewisser
Materialparameter der Festplatte eine Entropieproduktion für die
*Speicherung* von x MB Inhalt berechnen/abschätzen. Und zwar wird die
Festplatte durch die Speicherung zunächst weder leichter noch schwerer,
sondern einfach wärmer. Abgesehen von der Energie, die man für die
Drehung und die Bewegung der Köpfe benötigt (die wird wahrscheinlich
viel größer sein), werden die Domänen ummagnetisiert. Wenn man nun aus
der Speicherdicht, der Anisotropiekonstante des Materials und der
Schichtdicke ausrechnet, welche Energie für das Setzen eines Bits
benötigt wird, so kann man dieser thermodynamisch in Wärme verpuffenden
Energie durchaus die Entropieänderung dQ/T zuordnen. Diese Größe kann
nun beliebig klein sein, je nach Speicherkapazität des Materials, aber
wohl nicht viel kleiner als k_Boltzmann für ein Bit, da man ansonsten
die Information durch thermische Prozesse verlieren würde.

Aber im Grunde ist die praktische Entropieproduktion sehr einfach zu
berechnen: Abgesehen von der recht kleinen Strahlungsleistung
produzieren Computer aus der ihnen zugeführten elektrischen Energie im
Wesentlichen Wärme und erhöhen damit die Entropie. Und zwar um ein
Vielfaches dessen, was kT*Bitzahl/Zeit für die verarbeiteten Bits beträgt.

Christian

[Gerhard Tenner]

Christian.Gollwitzer # uni-***@2:240/2188.911 meinte am 21.12.06
zum Thema "Re: =?iso-8859-1?Q?Re: physikalischer Wert

Post by Christian Gollwitzer

[ sehr gutes und nützliches gekürzt ]
Kurz gefasst: Information ist keine physikalische Groesse und
hat keinen physikalischen (Mess)Wert.

Das ist richtig. Man kann aber trotzdem unter Kenntnis
gewisser Materialparameter der Festplatte eine
Entropieproduktion für die *Speicherung* von x MB Inhalt
berechnen/abschätzen.

Das erscheint mir ein Irrtum.
Allerdings ist ja vollkommen offen, was da gemeint sein soll mit
"speichern" statt speichern.

Gemeinhin versteht man unter der Speicherung einer Information auf einer
Festplatte, das dort physikalische Parameter so sind (nach, aber eben
nicht unbedingt nicht auch schon vor) dem speichern, das ein der
verwendeten Methode Kundiger das Gespeicherte reproduzieren kann.

Wenn die Platte nach dem speichern genau die gleiche Information enthaelt
wie vorher - weil zB wer nur irrtuemlich den Vorgang wiederholte, aendert
sich DADURCH rein nichts an deren Entropie. Es kann bei der Aenderung der
Entropie nur um einen an der Aenderung des Zustandes der Festplatte
gebundenen Vorgang gehen - und der ist vollkommen quantitativ unabhaengig
von der Information oder Aenderung der Information.

Post by Christian Gollwitzer
Und zwar wird die Festplatte durch die
Speicherung zunächst weder leichter noch schwerer, sondern
einfach wärmer.

Vorausgesetzt, das die Speicherung ein Vorgang ist, der mit Erwaermung
einhergeht. Allerdings: Weder wird die Information anders wenn man die
Platte abkuehlt noch wenn man sie erwaermt - das erwaermen ist nur
Nebeneffekt eines anderen Vorgangs. Wenn Du auf der Platte den Inhalt
jedes Clusters um eine Position verscheibst, ist danach aus Sicht des
Nutzers genau die gleiche Information drauf - waermer wirds sie dennoch
bei den heute ueblichen Verfahren.

Post by Christian Gollwitzer
Abgesehen von der Energie, die man für die
Drehung und die Bewegung der Köpfe benötigt (die wird
wahrscheinlich viel größer sein), werden die Domänen
ummagnetisiert. Wenn man nun aus der Speicherdicht, der
Anisotropiekonstante des Materials und der Schichtdicke
ausrechnet, welche Energie für das Setzen eines Bits benötigt
wird, so kann man dieser thermodynamisch in Wärme verpuffenden
Energie durchaus die Entropieänderung dQ/T zuordnen.

Nur ist das nichts, was mit dem Informationsgehalt zu tun hat.

Zweifelsfrei aendert ein lesen nichts an der Information (an der
Temperatur der Platte aber durchaus) - mit der gewonnenen Kenntnis kann
man aber nun entscheiden, welche Speicherorte bereits den richtigen
Bitwert haben (respektive ihn bekommen wenn man die vorherigen aendert -
das speichern erfolgt ja nicht per Nord-Sued spndern per Wechsel oder kein
Wechsel. Bei Zufuehrung/Speicherung der gleichen information kann man dann
weniger Domaenen ummagnetisieren und haette eine andere Entropieaenderung.
Was schlicht daran liegt, das man nicht die Folge der
Informationsspeicherung sondern der Ummagnetisierung misst bei dieser
Entropieaenderung.

Also falsche Praemisse - man misst gar nicht das, was man meint zu messen.
Und dann kann man den Messwert wegwerfen.

Post by Christian Gollwitzer
Diese
Größe kann nun beliebig klein sein, je nach Speicherkapazität
des Materials, aber wohl nicht viel kleiner als k_Boltzmann
für ein Bit, da man ansonsten die Information durch thermische
Prozesse verlieren würde.

Du extemporierst.
Du bist gerade dabei die Grundstuecksgrenzen einer Adreesse auf mm genau
zu messen und hast uebersehen, das Du zwar in der Muellerstrasse 3, aber
nicht in Berlin sondern in Hamburg bist. Schon ein kurzes selber pruefen,
ob du denn den Voragang abgrenzen koenntest von der stinknormalen der
schwankenden Umgebungstemperatur folgenden Platte haette Dir schwanen
lassen koennen das Du mit Temperatur auf ner falschen Faehrte bist.

Post by Christian Gollwitzer
Aber im Grunde ist die praktische Entropieproduktion sehr
einfach zu berechnen: Abgesehen von der recht kleinen
Strahlungsleistung produzieren Computer aus der ihnen
zugeführten elektrischen Energie im Wesentlichen Wärme und
erhöhen damit die Entropie.

Und zwar vollkommen unabhaengig davon, welche Informationsmengen sie
verarbeiten. Du kannst ja mal testen, ob sich da was aendert wenn Du ein
bmp-Bild einer gewaltig grossen einheitlich weisen Flaeche oder eines van-
Gogh-Gemaeldes gleicher Pixelanzahl verarbeitest. Ob die beiden Bilder
allerdings verschieden viel Inforamation enthalten ist durchaus offen (um
mit gleich noch selber zu widersprechen 8-) ).

Post by Christian Gollwitzer
Und zwar um ein Vielfaches dessen,
was kT*Bitzahl/Zeit für die verarbeiteten Bits beträgt.

Was soll das denn sein: Eine Anzahl verarbeiteter Bits? Zu was werden die
denn verarbeitet? Zu Buts? Zu Kakao?
Wieviel Bit gebe ich Dir, wenn ich sage "Les mal Goethes Faust" ? Wieviel
empfaengt der, der nur chinesisch kann?
Man kann Information nicht in Bit messen, auch wenn sehr viele Leute so
tun, als ginge es. Mit Bit kann man Speicherplaetze zaehlen, ob die
ueberhaupt Information enthalten ist dabei wurst. Es ist ein Mass der
Dateilaenge und nicht des Dateiinhaltes - Information aber kann nicht
inhaltsfrei definiert werden. Nebeinbei entzieht sich Information in der
Regel der Digitalisierung, die reale Welt ist in grossen Teilen analog.

Falls Du mit Windows arbeitest, so ist der am intensivsten laufende
Prozess der Leerlaufprozess. Wieviel Bit pro Sekunde "verarbeitet" der
denn und was kommt dabei raus, was wird erarbeitet beim verarbeiten?


Gruss Gerhard

Origin: Lohnarbeit muß sich lohnen für den, der zahlt.
Nicht Arbeit muß sich da lohnen, sondern arbeiten lassen.
---

[Hendrik van Hees]

Post by Philipp E. Letschert
gibt es sowas?
ich meine nicht Speichergröße in Bytes, sondern z.B. Gewicht von
Information. Nachdem ich gelesen habe, dass Information ein geordneter
Zustand ist, welcher Energie zur Erzeugung (und Aufrechterhaltung)
benötigt. Ein Datenträger wird dann nach E = mc2 "physikalisch kühler"
und somit theoretisch leichter, oder wars umgekehrt? [*]
Gibt es noch andere Zusammenhänge oder Überlegungen dieser Art? Mir
sind eben die Stichwörter zum googlen ausgegangen...

Die Entropie ist ein Maß für fehlende Information bei gegebener
Wsk-Verteilungsfunktion der betreffenden Größe. Quantenstatistisch läßt
sich's am kompaktesten ausdrücken.

S=-k Tr (R ln R),

wo R der Statistische Operator des Systems ist.

Genaueres findest Du in der FAQ in meinem Statistik-Skript:

http://theory.gsi.de/~vanhees/faq/stat/index.html

oder zum Ausdrucken die pdf-Version:

http://theory.gsi.de/~vanhees/faq-pdf/stat.pdf

[Carla Schneider]

Post by Philipp E. Letschert
gibt es sowas?
ich meine nicht SpeichergröÃYe in Bytes, sondern z.B. Gewicht von
Information. Nachdem ich gelesen habe, dass Information ein geordneter
Zustand ist, welcher Energie zur Erzeugung (und Aufrechterhaltung)
benötigt. Ein Datenträger wird dann nach E = mc2 "physikalisch kühler"
und somit theoretisch leichter, oder wars umgekehrt? [*]
Gibt es noch andere Zusammenhänge oder �berlegungen dieser Art? Mir sind
eben die Stichwörter zum googlen ausgegangen...

Die Information die man in einer elektromagnetischen Nachricht (Wellenpaket) unterbringen
kann ist ebenfalls interessant.

Die Informationsmenge muesste dabei der Groessenordnung Wirkung, d.h.
Energie*Zeit entsprechen.
Darauf kommt man einfach dadurch dass die Informationsmenge
durch Lorentztransformationen nicht geaendert wird.
Vermutung: ein planksches Wirkungsquantum entspricht einem Bit.
Evtl. ist das auch fuer anders gespeicherte Information gueltig ?

[Stefan Ram]

Post by Carla Schneider
Die Informationsmenge muesste dabei der Groessenordnung Wirkung, d.h.
Energie*Zeit entsprechen.

Qualitativ ist das plausibel: Man könnte Information dadurch
übertragen, daß eine bestimmte Frequenz in einem Wellenpaket
vorkommt oder nicht vorkommt. Dabei kann man parallel um so
mehr Informationen übertragen, um so mehr hohe Frequenzen man
zuläßt - diese benötigen dann aber auch mehr Energie.

Das Frequenzspektrum ist aber auch nach unten offen (man
erhält durch Halbieren einer positiven Frequenz wieder eine),
aber dann müßte man wohl länger beobachten (ist das so?), um
die Frequenz messen zu können, das wäre dann eine Verlängerung
der Zeit, der Sende- und Meßzeit. - (Hier muß man begrifflich
noch vergleichen, ob dies auch die Zeit ist, die für eine
Wirkung relevant ist.)

Post by Carla Schneider
Darauf kommt man einfach dadurch dass die Informationsmenge
durch Lorentztransformationen nicht geaendert wird.

Das kommt wohl auch darauf an, was man alles transformiert.
Wenn ein Beobachter die Information einer Welle mißt, die zu
ihm gleichzeitig (t=0) ist, dann würde ein anderer Beobachter
mit seiner t=0-Geraden einen anderen Teil der Welle schneiden,
in dem andere Informationen liegen können.

Post by Carla Schneider
Vermutung: ein planksches Wirkungsquantum entspricht einem Bit.

Das Bit ist ja die Information eines Systems mit zwei
Zuständen. "Natürlich" wäre ein System mit sovielen Zuständen
wie die Eulersche Zahl angibt. Es ist nicht klar, warum ein
System mit zwei Zuständen gerade physikalisch fundamental sein
soll. Gewiß hat Weizsäcker dies mit seinen Urs postuliert,
aber wir wissen ja nicht, ob das in der Welt so realisiert
ist.

[Stefan Ram]

Post by Stefan Ram
Qualitativ ist das plausibel: Man könnte Information dadurch
übertragen, daß eine bestimmte Frequenz in einem Wellenpaket

Vielleicht ist »Wellenpaket« hier zu speziell: Also
»in einem durch Modulation des elektromagnetischen Feldes
übermitteltem Signal«

Post by Stefan Ram
vorkommt oder nicht vorkommt. Dabei kann man parallel um so
mehr Informationen übertragen, um so mehr hohe Frequenzen man
zuläßt - diese benötigen dann aber auch mehr Energie.

Allerdings gilt der hier zuvor schon genannte Einwand auch
gegen diese Interpretation: Man könnte vereinbaren, daß zum
Zeitpunk t Energie auf den Frequenzen f0, f1, ... f(n-1)
übertragen wird, jeweils um eine »1« darzustellen und keine
Energie für »0«. Falls die Nachricht nun zufällig aus lauter
Nullen besteht, so würde man gar keine Energie oder Wirkung
aufwenden müssen, um diese Nachricht zu übermitteln, obwohl
sie beliebig viel Information enthalten kann.

Daher könnte eine Wirkung vielleicht eher der (maximalen oder
mittleren?) übertragbaren Information eines Kanals
(Modulationsverfahrens) zugeordnet werden als der Information
einer speziellen Nachricht.

[Stefan Ram]

Post by Stefan Ram
Das kommt wohl auch darauf an, was man alles transformiert.
Wenn ein Beobachter die Information einer Welle mißt, die zu
ihm gleichzeitig (t=0) ist, dann würde ein anderer Beobachter
mit seiner t=0-Geraden einen anderen Teil der Welle schneiden,
in dem andere Informationen liegen können.

Wobei man »Welle« (die ist ja wohl überall gleich) durch
»elektromagnetisches Feld« ersetzen sollte.

[Philipp Wehrli]

Post by Stefan Ram
Das Frequenzspektrum ist aber auch nach unten offen (man
erhält durch Halbieren einer positiven Frequenz wieder eine),
aber dann müßte man wohl länger beobachten (ist das so?), um
die Frequenz messen zu können, das wäre dann eine Verlängerung
der Zeit, der Sende- und Meßzeit.

Ja, das ist so, das folgt direkt aus der Fouriertransformation.

Post by Stefan Ram
Das Bit ist ja die Information eines Systems mit zwei
Zuständen. "Natürlich" wäre ein System mit sovielen Zuständen
wie die Eulersche Zahl angibt. Es ist nicht klar, warum ein
System mit zwei Zuständen gerade physikalisch fundamental sein
soll. Gewiß hat Weizsäcker dies mit seinen Urs postuliert,
aber wir wissen ja nicht, ob das in der Welt so realisiert
ist.

Von Weizsäcker geht nicht vom Bit aus, sondern vom Q-Bit, also vom
quantenmechanischen Zweizustandsystem. Seine Begründung ist, dass jede
Information in Ja/Nein-Fragen zerlegt werden kann, wenn auch vielleicht
unendlich viele nötig sind. Das faszinierende an den Uren ist, dass
der Raum der Q-Bits, also die SU(2) isomorph ist zum Raum der Drehungen
im dreidimensionalen Raum. Die Idee der Urtheorie ist nun, dass dies
kein Zufall ist, sondern dass sich der dreidimensionale Raum auf den
Raum der Informationen zurückführen lässt.
Wird eine Information in eine andere umgewandelt, so ist zur
Beschreibung eine SU(2)xSU(2) nötig (soweit ich das verstanden habe).
Dies ist aber gerade die Lorentzgruppe. Wenn man schliesslich schaut,
welche Teilchen in so einem Raum auftauchen könnten, dann kommt man
schon ziemlich schön auf die Elementarteilchen, die wir tatsächlich
beobachten. Und um die Sache noch einmal umgekehrt darzustellen: Weil
die Elementarteilchen, die wir beobachten, unter
Lorentztransformationen unverändert bleiben, müssen sie sich in einem
Raum bewegen, der sich wie der Raum der Q-Bits beschreiben lässt.

[Gerhard Tenner]

Post by Philipp Wehrli
Von Weizsäcker geht nicht vom Bit aus, sondern vom Q-Bit, also
vom quantenmechanischen Zweizustandsystem. Seine Begründung
ist, dass jede Information in Ja/Nein-Fragen zerlegt werden
kann, wenn auch vielleicht unendlich viele nötig sind.

Das ist sich selber veralbern. Genau gleichwertig kann man behaupten, das
jede Information, die sich nicht in endlich viele ja-nein-Fragen zerlegen
laesst, nicht digitalisierbar und damit nicht als Menge von Bit
darstellbar ist.
Was willst Du noch machen, wenn bereits ein einziges Q-Bit unendlich viel
Information enthalten kann? Was willst Du dann noch messen als Menge eines
physikalischen Wertes?

Gruss Gerhard

Origin: Lohnarbeit muß sich lohnen für den, der zahlt.
Nicht Arbeit muß sich da lohnen, sondern arbeiten lassen.
---

[Roland Damm]

Moin,

Post by Carla Schneider
Die Information die man in einer elektromagnetischen Nachricht
(Wellenpaket) unterbringen kann ist ebenfalls interessant.
Die Informationsmenge muesste dabei der Groessenordnung Wirkung,
d.h. Energie*Zeit entsprechen.

Und wie war das mit der Information, die übertragen wird indem
_nichts_ übertragen wird? Es könnte z.B. jede ms ein Signal gesendet
werden, aber es wird nicht gesendet, weil eben eine Null-Folge
gesendet wird. Hat diese Nullfolge dann etwa keine Information? Wie
schon gesagt, kann jede Informationsübertragung so codiert werden,
dass sie bei bestimmtem Inhalt zu einer Nullfolge wird.

CU Rollo

[Jens Dierks]

Post by Roland Damm
Wie
schon gesagt, kann jede Informationsübertragung so codiert werden,
dass sie bei bestimmtem Inhalt zu einer Nullfolge wird.

Dann steckt die Information in der Kodierung (ohne diese hat man
auch keine Information, höchstens die der 0-Folge - also wenig).

--Jens

[Stefan Ram]

Post by Jens Dierks

Post by Roland Damm
Wie
schon gesagt, kann jede Informationsübertragung so codiert werden,
dass sie bei bestimmtem Inhalt zu einer Nullfolge wird.

Dann steckt die Information in der Kodierung (ohne diese hat man
auch keine Information, höchstens die der 0-Folge - also wenig).

Eine Kodierung hat man immer.
Sie ordnet jedem Symbol eine Bedeutung zu.
Dabei ist das Symbol »00000000« grundsätzlich nicht anders zu
behandeln als jedes andere Symbol, wie beispielsweise »01101101«.

Beschränken wir uns zur Vereinfachung einmal auf Situationen
(Übertragungskanäle), in der alle Symbole gleichwahrscheinlich
sind.

Dann ist die Informationsmenge eines Symbols alleine durch
die Anzahl n der insgesamt möglichen Symbole bestimmt.

In Bit: ld( n ) Bit
im SI-System: ln( n ) k, mit der Boltzmannkonstanten k

Die gewählte Kodierung, also die Bedeutung der einzelnen
Symbole, spielt dabei keine Rolle.

[Jens Dierks]

Post by Stefan Ram

Post by Jens Dierks

Post by Roland Damm
Wie
schon gesagt, kann jede Informationsübertragung so codiert werden,
dass sie bei bestimmtem Inhalt zu einer Nullfolge wird.

Dann steckt die Information in der Kodierung (ohne diese hat man
auch keine Information, höchstens die der 0-Folge - also wenig).

Eine Kodierung hat man immer.
Sie ordnet jedem Symbol eine Bedeutung zu.
Dabei ist das Symbol »00000000« grundsätzlich nicht anders zu
behandeln als jedes andere Symbol, wie beispielsweise »01101101«.
Beschränken wir uns zur Vereinfachung einmal auf Situationen
(Übertragungskanäle), in der alle Symbole gleichwahrscheinlich
sind.
Dann ist die Informationsmenge eines Symbols alleine durch
die Anzahl n der insgesamt möglichen Symbole bestimmt.
In Bit: ld( n ) Bit
im SI-System: ln( n ) k, mit der Boltzmannkonstanten k
Die gewählte Kodierung, also die Bedeutung der einzelnen
Symbole, spielt dabei keine Rolle.

Dann habe ich dich falsch verstanden, ich ging zB von einem
Buch aus, dessen Zeichen (und somit Bitfolge) man derart
"kodiert", dass nur eine Folge von Nullen herauskommt.
Dann enthält der Schlüssel, um die Informationen zu gewinnen,
praktisch die gesamte Information des Buches.

Gruß Jens

[Stefan Ram]

Post by Jens Dierks
Dann habe ich dich falsch verstanden,

Du hattest zuvor allerdings nicht direkt auf einen von mir
stammenden Beitrag geantwortet.

Post by Jens Dierks
ich ging zB von einem Buch aus, dessen Zeichen (und somit
Bitfolge) man derart "kodiert", dass nur eine Folge von Nullen
herauskommt. Dann enthält der Schlüssel, um die Informationen
zu gewinnen, praktisch die gesamte Information des Buches.

Das ist aber bei jeder anderen Folge genau so, wenn man das
Buch als ganzes kodiert. Die Folge aus Nullen unterscheidet
sich hier also nicht von einer anderen vorgegebenen Folge.

Es ist auch möglich, daß dieser Artikel hier zufällig in
irgendeiner Kodierung (beispielsweise nach Kompression) gerade
durch eine Folge von Nullen dargestellt wird, auch wenn der
Kode nicht zuvor extra so konstruiert wurde, daß sich diese
Darstellung ergibt. Dies ist zwar sehr unwahrscheinlich, aber
nur so unwahrscheinlich, wie beim Vergleich mit jedem anderen
bitweise bestimmten Muster auch.

[Jens Dierks]

Post by Stefan Ram
Du hattest zuvor allerdings nicht direkt auf einen von mir
stammenden Beitrag geantwortet.

Im Grunde besteht ihr beide doch aus den selben Teilchen, nur
etwas anders kodiert ;-)

Post by Stefan Ram

Post by Jens Dierks
ich ging zB von einem Buch aus, dessen Zeichen (und somit
Bitfolge) man derart "kodiert", dass nur eine Folge von Nullen
herauskommt. Dann enthält der Schlüssel, um die Informationen
zu gewinnen, praktisch die gesamte Information des Buches.

Das ist aber bei jeder anderen Folge genau so, wenn man das
Buch als ganzes kodiert. Die Folge aus Nullen unterscheidet
sich hier also nicht von einer anderen vorgegebenen Folge.

Doch schon, ich gehe zB davon aus, dass man diese Bitfolge
an ein fremdes Planetensystem sendet und Ausserirdische
sollen die Information entschlüsseln.
Auch bei dem Zeichen mit 8 Bit kann man ohne die Kenntnis,
dass es sich um ein Zeichen handelt und die Zeichentabelle
selber, nicht die Information enthalten, was es darstellen
soll.

Post by Stefan Ram
Es ist auch möglich, daß dieser Artikel hier zufällig in
irgendeiner Kodierung (beispielsweise nach Kompression) gerade
durch eine Folge von Nullen dargestellt wird, auch wenn der
Kode nicht zuvor extra so konstruiert wurde, daß sich diese
Darstellung ergibt. Dies ist zwar sehr unwahrscheinlich, aber
nur so unwahrscheinlich, wie beim Vergleich mit jedem anderen
bitweise bestimmten Muster auch.

Gerade bei der Kompression wird aber deutlich, dass eine (längere)
Folge gleicher Zahlen offensichtlich kaum verwertbare Information
enthält.

Gruß Jens

[Stefan Ram]

Post by Jens Dierks
Doch schon, ich gehe zB davon aus, dass man diese Bitfolge
an ein fremdes Planetensystem sendet und Ausserirdische
sollen die Information entschlüsseln.

Das ist eine besondere Situation, da dann der Kode implizit
mit der Nachricht übertragen werden muß. Ich weiß nicht, ob es
hierfür Überhaupt einen Informationsbegriff gibt. Intuitiv
wird vielleicht Information übertragen, aber es gibt
vielleicht keine Theorie zu ihrer zahlenmäßigen Bestimmung.
Beispielsweise kann es sein, daß die Außerirdischen die
Nachricht einfach nicht verstehen, sie also für sie gar keine
subjektiv nutzbare Information enthält.

Bei üblichen Kommunikationssituationen (Morsen, ASCII, MP3,
PDF, ZIP, EXE, ...) ist der Kode immer schon getrennt explizit
vereinbart worden. So etwas habe ich hier zugrundegelegt.

Post by Jens Dierks
Gerade bei der Kompression wird aber deutlich, dass eine
(längere) Folge gleicher Zahlen offensichtlich kaum verwertbare
Information enthält.

Je nach dem Kompressionsverfahren könnte eine Folge gleicher
Zahlen zu einer an Information reichen Nachricht dekomprimiert
werden.

Die Information einer Nachricht ist grob gesagt zu ihrer
Erwartungswahrscheinlichkeit umgekehrt proportional (nach
Shannon - es gibt auch andere Maße). Wenn eine Folge aus
lauter Nullen sehr unerwartet ist, dann enthält sie sehr
viel Information - nach dem üblichen Begriff von Shannon.

http://de.wikipedia.org/wiki/Entropie_%28Informationstheorie%29

[Stefan Ram]

Post by Stefan Ram

Post by Jens Dierks
Gerade bei der Kompression wird aber deutlich, dass eine
(längere) Folge gleicher Zahlen offensichtlich kaum verwertbare
Information enthält.

Je nach dem Kompressionsverfahren könnte eine Folge gleicher
Zahlen zu einer an Information reichen Nachricht dekomprimiert
werden.

Ach, so. Du meinst wahrscheinlich /vor/ der Komprimierung.

Das ist aber nur deshalb so, weil in der Praxis Folgen
gleicher Werte oft wahrscheinlicher sind als andere Folgen.
Etwa bei einem Bild ist es wahrscheinlich, daß die Farbe eines
Bildpunktes der Farbe der Umgebung gleicht. Wahrscheinlichere
Muster sind häufiger und die Komprimierung ist effizienter,
wenn häufigere Muster durch kürzere Folgen repräsentiert werden.

Wenn aber eine Folge gleicher Bits in einer anderen Situation
sehr unwahrscheinlich ist, dann würde sie durch eine lange
Folge effizienter kodiert, da dann die kurzen Folgen besser
für die häufigeren Muster eingesetzt werden.

Wenn aber nichts über Häufigkeiten bekannt ist, also bei einer
"rauschenden Quelle", dann kann eine Folge gleicher Bits nicht
effizienter kodiert werden als jede andere Folge.

[Jens Dierks]

Stefan Ram schrieb:
[viel Gutes]

Post by Stefan Ram

Post by Jens Dierks
Doch schon, ich gehe zB davon aus, dass man diese Bitfolge
an ein fremdes Planetensystem sendet und Ausserirdische
sollen die Information entschlüsseln.

Das ist eine besondere Situation, da dann der Kode implizit
mit der Nachricht übertragen werden muß. Ich weiß nicht, ob es
hierfür Überhaupt einen Informationsbegriff gibt.

Ich war sowieso etwas auf Abwegen, imho ging es Carla mehr
darum, wieviel Energie minimal benötigt wird, um ein Bit
zweifelsfrei zu übertragen(?)

Ansonsten hast du mit Allem was du gesagt hast Recht. Ohne
einen Bezug ist jede beliebige Folge einmalig. Man kann
höchstens sagen, dass sie eine bestimmte Komplexizität aufweist.
Wenn es aber nur einen Zustand gibt, dann machen Wahrscheinlich-
keitsaussagen keinen Sinn, höchstens wie oft ein Teilsystem in
dem Gesamtsystem vorkommt, oä.
Das entspricht dann aber wieder dem gewohnten Bild

Gruß Jens

[Gerhard Tenner]

Post by Stefan Ram

Post by Jens Dierks
Doch schon, ich gehe zB davon aus, dass man diese Bitfolge
an ein fremdes Planetensystem sendet und Ausserirdische
sollen die Information entschlüsseln.

Das ist eine besondere Situation, da dann der Kode implizit
mit der Nachricht übertragen werden muß. Ich weiß nicht, ob
es hierfür Überhaupt einen Informationsbegriff gibt.

Warum soll der allgemein benutzte - Beseitigung von Ungewissheit - nicht
taugen? Wenn die dort mit dem Zeug nichts anfangen koennen, hatte es
keinen Informationsgehalt. Haben sie dank ihrem technologischen Niveau
bereits eine "Grossen Bruder" hier stationiert, der alles wissenswertes
ihnen sendet - dann auch nicht. Obwohl sie die Nachricht dann sicher
interpretieren koennen.

Post by Stefan Ram
Intuitiv wird vielleicht Information übertragen, aber es
gibt vielleicht keine Theorie zu ihrer zahlenmäßigen
Bestimmung.

Sie kann nicht objektiv, also nicht unabhaengig von den Subjekten die
senden und empfangen, quantitativ bestimmt werden. Nehme mal an, Dein
Urgrossvater haette auf seiner Telefonleitung vor 75 Jahren ein DSL-Signal
gehabt. Waere zu ihm dann mehr Information uebertragen worden? Er haette
das doch nicht mal als Rauschen hoeren koennen!

Post by Stefan Ram
Beispielsweise kann es sein, daß die
Außerirdischen die Nachricht einfach nicht verstehen, sie
also für sie gar keine subjektiv nutzbare Information
enthält.

"Subjektiv" kann man weglassen bei Information - sie ist das immer. Ob sie
jedoch nutzbar ist, das hat wieder mit dem Informationsgehalt nichts zu
tun.

Post by Stefan Ram
Bei üblichen Kommunikationssituationen (Morsen, ASCII, MP3,
PDF, ZIP, EXE, ...) ist der Kode immer schon getrennt
explizit vereinbart worden. So etwas habe ich hier
zugrundegelegt.

Zum Code gehoert viel mehr. Weshalb ja Menschen sich nur verstehen, wenn
sie die gleiche Sprache koennen. Als notwendige, keinesfalls hinreichende
Bedingung. Wie jeder Ehepartner weiss ...

Post by Stefan Ram
Die Information einer Nachricht ist grob gesagt zu ihrer
Erwartungswahrscheinlichkeit umgekehrt proportional (nach
Shannon - es gibt auch andere Maße).

Das ist eine andere sprachliche Formulierung fuer die Beseitigung von
Ungewissheit. Was eine Wahrscheinlichkeit hat, ist ungewiss.

Post by Stefan Ram
Wenn eine Folge aus
lauter Nullen sehr unerwartet ist, dann enthält sie sehr
viel Information - nach dem üblichen Begriff von Shannon.

Die Umkehrung fuehrt bei diesem Sprachbild in die Irre. Die hoehere
Gewissheit ist das Maass. Beispiele, die Wahrscheinlichkeiten als Bild
benutzen und dann auf Einzelfaelle abstellen sind nie richtig -
Wahrscheinlichkeiten und ihre Messzahlen sind nur fuer sehr viele Faelle
definiert. Die gewonnene Information ist gleich gross bei verschieden
wahrscheinlichen Einzelereignissen - es ist die Sicherheit statt
Wahrscheinlichkeit. Das entzieht sich dem zaehlen.

Gruss Gerhard

Origin: Lohnarbeit muß sich lohnen für den, der zahlt.
Nicht Arbeit muß sich da lohnen, sondern arbeiten lassen.
---

[Carla Schneider]

Post by Stefan Ram

Post by Jens Dierks
Doch schon, ich gehe zB davon aus, dass man diese Bitfolge
an ein fremdes Planetensystem sendet und Ausserirdische
sollen die Information entschlüsseln.

Das ist eine besondere Situation, da dann der Kode implizit
mit der Nachricht übertragen werden muß. Ich weiß nicht, ob es
hierfür Überhaupt einen Informationsbegriff gibt. Intuitiv
wird vielleicht Information übertragen, aber es gibt
vielleicht keine Theorie zu ihrer zahlenmäßigen Bestimmung.
Beispielsweise kann es sein, daß die Außerirdischen die
Nachricht einfach nicht verstehen, sie also für sie gar keine
subjektiv nutzbare Information enthält.
Bei üblichen Kommunikationssituationen (Morsen, ASCII, MP3,
PDF, ZIP, EXE, ...) ist der Kode immer schon getrennt explizit
vereinbart worden. So etwas habe ich hier zugrundegelegt.

Post by Jens Dierks
Gerade bei der Kompression wird aber deutlich, dass eine
(längere) Folge gleicher Zahlen offensichtlich kaum verwertbare
Information enthält.

Je nach dem Kompressionsverfahren könnte eine Folge gleicher
Zahlen zu einer an Information reichen Nachricht dekomprimiert
werden.

Nein, ein brauchbares Kompressionsverfahren wird niemals eine
Folge gleicher Zahlen als ergebnis der Kompression haben,
ganz gleich was fuer Eingangsdaten es erhaelt.
Ein brauchbares Kompressionsverfahren zeichnet sich naemlich dadurch aus
dass man das Ergebnis nicht weiter komprimieren kann, und das koennte man
wenn lauter gleiche Zeichen herauskaemen.

Post by Stefan Ram
Die Information einer Nachricht ist grob gesagt zu ihrer
Erwartungswahrscheinlichkeit umgekehrt proportional (nach
Shannon - es gibt auch andere Maße). Wenn eine Folge aus
lauter Nullen sehr unerwartet ist, dann enthält sie sehr
viel Information - nach dem üblichen Begriff von Shannon.

Bei einer Folge aus lauter Nullen ist der Erwartungswarscheinlichkeit eine
Null zu bekommen eins, d.h. die Nachricht enthaelt keine Information.
Maximale Information hat man wenn der Erwartungswert fuer alle vorkommenden
Zeichen gleich ist, (und es mindestens 2 verschiedene Zeichen gibt).

Post by Stefan Ram
http://de.wikipedia.org/wiki/Entropie_%28Informationstheorie%29

[Stefan Ram]

Post by Carla Schneider
Nein, ein brauchbares Kompressionsverfahren wird niemals eine
Folge gleicher Zahlen als ergebnis der Kompression haben,
ganz gleich was fuer Eingangsdaten es erhaelt.
Ein brauchbares Kompressionsverfahren zeichnet sich naemlich dadurch aus
dass man das Ergebnis nicht weiter komprimieren kann, und das koennte man
wenn lauter gleiche Zeichen herauskaemen.

Zur Vereinfachung der Notation von Beispielen beschränke ich
mich o. B. d. A. auf eine Folge von 4 Bit als Eingabe und ein
Kompressionsverfahren, das 1 bis 8 Bit als Ausgabe liefert.

Du möchtest die folgenden Bitmuster als Ausgabe ausschließen:

0, 00, 000, 0000, 00000, 000000, 0000000, 00000000,
1, 11, 111, 1111, 11111, 111111, 1111111 und 11111111.

Durch dieses Verbot der Nutzung des gesamten Ausgaberaumes
wird die Effizienz eines Kompressionsverfahrens im allgemeinen
verschlechtert. Dies ist also der erste Einwand gegen Deine
Ansicht. Er alleine ist meiner Meinung nach schon zur
Widerlegung ausreichend.

Ich möchte aber noch einen zweiten Einwand hinzufügen.

Ich nehme also jetzt ein Verfahren A mit der obigen von Dir
vorgeschlagenen Einschränkung. Dieses kann nach Deinen
Vorgaben dann beispielsweise die folgenden Ausgabe liefern:

011

Jetzt erzeuge ich ein zweites Kompressionsverfahren A' indem
ich das Ergebnis von A noch mit 01101110 Exklusivoder-verknüpfe
(falls das Ergebnis von A weniger als 8 Bit hat, werden nur
von links die vorhandenen Bits verknüpft, so wird aus 000
beispielsweise 011 und aus 00000 beispielsweise 01101).

Das Verfahren A' ist genauso effizient wie A, da die Länge der
erzeugten Bitfolgen bei beiden Verfahren gleich ist. Dabei
erzeugt A' aber die Bitfolge

000

wenn A 011 erzeugt. Es müßt dann Deiner Meinung nach weniger
effizient sein. Dies ist nun noch eine weitere Widerlegung
Deiner Ansichten.

Oder: Es müßte Deiner Meinung nach nun bei A' noch die
Möglichkeit zu weiterer Kompression geben, aber nicht bei A.
Tatsächlich haben aber bei nach Konstruktion die gleiche
Effizienz.

[Carla Schneider]

Post by Stefan Ram

Post by Carla Schneider
Nein, ein brauchbares Kompressionsverfahren wird niemals eine
Folge gleicher Zahlen als ergebnis der Kompression haben,
ganz gleich was fuer Eingangsdaten es erhaelt.
Ein brauchbares Kompressionsverfahren zeichnet sich naemlich dadurch aus
dass man das Ergebnis nicht weiter komprimieren kann, und das koennte man
wenn lauter gleiche Zeichen herauskaemen.

Zur Vereinfachung der Notation von Beispielen beschränke ich
mich o. B. d. A. auf eine Folge von 4 Bit als Eingabe und ein
Kompressionsverfahren, das 1 bis 8 Bit als Ausgabe liefert.

4 Bit bedeutet 16 Werte. Sowas komprimiert man mit einer Wertetabelle.
Wenn von denen nur 8 oder weniger ueberhaupt vorkommen, kann es auf 3 Bit
reduzieren, bei 4 oder weniger auf 2 Bit usw.
Wenn alle Werte vorkommen lohnt sich ein Kompression zur wenn einige
sehr viel haeufiger vorkommen als andere.

Selbstverstaendlich wird man da auf keine Werte im Ergebnis verzichten,
schliesslich nimmt einem das einen Wesentlichen Teil des Ergebnisraums (1/4 bis 1/256)

Bei 1024 Bit dagegen sieht das ganz anders aus. Wenn man die auf Werte zwischen
64bit bis 1025 Bit reduziert verliert man praktisch nichts wenn man
einen Ergebniswert aus lauter gleichen bits ausschliesst, denn ihr Anteil
am Ergebnisraum ist kleiner 10^-18 .

Post by Stefan Ram
0, 00, 000, 0000, 00000, 000000, 0000000, 00000000,
1, 11, 111, 1111, 11111, 111111, 1111111 und 11111111.
Durch dieses Verbot der Nutzung des gesamten Ausgaberaumes
wird die Effizienz eines Kompressionsverfahrens im allgemeinen
verschlechtert. Dies ist also der erste Einwand gegen Deine
Ansicht. Er alleine ist meiner Meinung nach schon zur
Widerlegung ausreichend.

Ja bei so wenig bits schon, aber da komprimiert man auch ganz anders.
Ich ging ja von Kompressionsverfahren aus wie sie tatsaechlich
verwendet werden um z.B. text oder Programmdateien zu komprimieren,
denn auf die sind sie ausgelegt worden.

Post by Stefan Ram
Ich möchte aber noch einen zweiten Einwand hinzufügen.
Ich nehme also jetzt ein Verfahren A mit der obigen von Dir
vorgeschlagenen Einschränkung. Dieses kann nach Deinen
011
Jetzt erzeuge ich ein zweites Kompressionsverfahren A' indem
ich das Ergebnis von A noch mit 01101110 Exklusivoder-verknüpfe
(falls das Ergebnis von A weniger als 8 Bit hat, werden nur
von links die vorhandenen Bits verknüpft, so wird aus 000
beispielsweise 011 und aus 00000 beispielsweise 01101).
Das Verfahren A' ist genauso effizient wie A, da die Länge der
erzeugten Bitfolgen bei beiden Verfahren gleich ist. Dabei
erzeugt A' aber die Bitfolge
000
wenn A 011 erzeugt. Es müßt dann Deiner Meinung nach weniger
effizient sein. Dies ist nun noch eine weitere Widerlegung
Deiner Ansichten.

Es ist ineffizienter weil es einen zusaetzlichen voellig sinnlosen
Schritt enthaelt, der nur dazu dient ein tatsaechlich moegliches
Ergebnis auf eine Reihe Nullen abzubilden.

Post by Stefan Ram
Oder: Es müßte Deiner Meinung nach nun bei A' noch die
Möglichkeit zu weiterer Kompression geben, aber nicht bei A.

Die gaebe es auch, aber sinnvoll waere das nur bei laengeren Datensaetzen.
Da wird es aber hoechstgradig unwarscheinlich dass dieses Nullergebnis jemals
herauskommt.

Post by Stefan Ram
Tatsächlich haben aber bei nach Konstruktion die gleiche
Effizienz.

[Stefan Ram]

Post by Carla Schneider

Post by Stefan Ram
Zur Vereinfachung der Notation von Beispielen beschränke ich
mich o. B. d. A. auf eine Folge von 4 Bit als Eingabe und ein
Kompressionsverfahren, das 1 bis 8 Bit als Ausgabe liefert.

4 Bit bedeutet 16 Werte. Sowas komprimiert man mit einer Wertetabelle.

Ich hatte befürchtet, daß Du deine Aufmerksamkeit nun eher der
kleinen Anzahl an Bits zuwenden könntest. Diese wurde hier
aber nur gewählt, damit ich Beispiele notieren kann, sie ist
für meine Argumentation nicht nötig.

Die Frage der Implementation (ob mit Wertetabelle oder
Algorithmus) ist für die äußeren Eigenschaften des
Kompressionssystems ohne Bedeutung: Eine Wertetabelle oder ein
Algorithmus können beide dieselbe Abbildung implementieren,
und nur um die geht es hier.

Jedes Kompressionsverfahren ist eine Abbildung und kann damit
grundsätzlich durch eine Wertetabelle realisiert werden, auch
wenn heutige Computer dafür zu wenig Speicher hätten.
Das ändert aber nichts an den grundsätzlichen Eigenschaften.

Post by Carla Schneider
Wenn von denen nur 8 oder weniger ueberhaupt vorkommen, kann es
auf 3 Bit reduzieren, bei 4 oder weniger auf 2 Bit usw.

Richtig! Es kommt auf die Statistik der Werte an - nicht
auf spezielle Bitmuster.

Post by Carla Schneider
Wenn alle Werte vorkommen lohnt sich ein Kompression zur wenn
einige sehr viel haeufiger vorkommen als andere.

Ja.

Post by Carla Schneider
Selbstverstaendlich wird man da auf keine Werte im Ergebnis verzichten,
schliesslich nimmt einem das einen Wesentlichen Teil des Ergebnisraums (1/4 bis 1/256)
Bei 1024 Bit dagegen sieht das ganz anders aus. Wenn man die auf Werte zwischen
64bit bis 1025 Bit reduziert verliert man praktisch nichts wenn man
einen Ergebniswert aus lauter gleichen bits ausschliesst, denn ihr Anteil
am Ergebnisraum ist kleiner 10^-18 .

Trotzdem ist dies eine Verschlechterung, wenn auch nur um
einen winzigen Wert. Es gibt aber immer noch keinen Grund
dafür, sie ohne Not einzuführen. Abgesehen davon, hast Du
kein Gegenargument genannt.

Post by Carla Schneider

Post by Stefan Ram
0, 00, 000, 0000, 00000, 000000, 0000000, 00000000,
1, 11, 111, 1111, 11111, 111111, 1111111 und 11111111.
Durch dieses Verbot der Nutzung des gesamten Ausgaberaumes
wird die Effizienz eines Kompressionsverfahrens im allgemeinen
verschlechtert.

Ja bei so wenig bits schon, aber da komprimiert man auch ganz anders.
Ich ging ja von Kompressionsverfahren aus wie sie tatsaechlich
verwendet werden um z.B. text oder Programmdateien zu komprimieren,
denn auf die sind sie ausgelegt worden.

Wenn wir allgemeine Eigenschaften von Kompressionsverfahren
diskutieren, dann sollen die Ergebnisse der Diskussion für
/alle/ Verfahren gelten, sowohl für solche mit wenigen Bits
als auch für solche, die Du aus bestimmten
Kompressionsprogrammen kennst.

Deine Formulierung »da komprimiert man auch ganz anders«
scheint davon auszugehen, daß ich irgendein spezielles
Verfahren zugrundegelegt hätte. Tatsächlich gelten meine
Aussagen aber für jedes Kompressionsverfahren.

Jedes der von Dir genannten Kompressionsverfahren ist die
Implementation einer Abbildung, die einer endlichen Bitfolge
(Datei) eine andere endliche Bitfolge (Datei) zuordnet. Und
dafür gelten meine Aussagen, gegen die Du inhaltlich ja sonst
nichts eingewendet hast.

Post by Carla Schneider

Post by Stefan Ram
Jetzt erzeuge ich ein zweites Kompressionsverfahren A' indem
ich das Ergebnis von A noch mit 01101110 Exklusivoder-verknüpfe

Es ist ineffizienter weil es einen zusaetzlichen voellig sinnlosen
Schritt enthaelt, der nur dazu dient ein tatsaechlich moegliches
Ergebnis auf eine Reihe Nullen abzubilden.

Es mag vielleicht etwas länger dauern, aber der Grad der
Kompression ist nicht verschlechtert worden.

Post by Carla Schneider

Post by Stefan Ram
Oder: Es müßte Deiner Meinung nach nun bei A' noch die
Möglichkeit zu weiterer Kompression geben, aber nicht bei A.

Die gaebe es auch, aber sinnvoll waere das nur bei laengeren Datensaetzen.

Dieser Satz ist nur die Wiederholung der von mir als falsch
angesehenen Behauptung - aber keine Argumentation.

Meine Aussagen gelten für Bitsequenzen beliebiger Länge, bei
kurzen Bitsequenzen erkanntest Du ihre Richtigkeit »Ja bei so
wenig bits schon«, bei längeren ist Dir der Fehler im »Nebel
der vielen Bits« nur nicht so offensichtlich.

Post by Carla Schneider
Da wird es aber hoechstgradig unwarscheinlich dass dieses
Nullergebnis jemals herauskommt.

Ja, das ist der Grund dafü, daß es keine Verbesserung liefert,
speziell für bestimmte Sequenzen noch »Abkürzungen«
einzuführen. Bei einer guten Kompressionsabbildung ist die
Wahrscheinlichkeit jedes ausgegebenen Bitmusters gleich und
damit bei gegebener Länge L gleich 1/2^L. Sobald man einzelne
Bitmuster davon verbietet, verschlechtert man die Qualität des
Ergebnisses. Dies gilt für alle Verfahren, unabhängig von L.

[Stefan Ram]

Post by Carla Schneider
Bei einer Folge aus lauter Nullen ist der Erwartungswarscheinlichkeit eine
Null zu bekommen eins, d.h. die Nachricht enthaelt keine Information.
Maximale Information hat man wenn der Erwartungswert fuer alle vorkommenden
Zeichen gleich ist, (und es mindestens 2 verschiedene Zeichen gibt).

Eine Quelle, bei der die Erwartungswahrscheinlichkeit für »0«
gleich 0,5 ist, kann durchaus in einem konkreten Fall eine
lange endliche Folge liefern, die nur aus »0«-Zeichen besteht.

Dabei ist die Erwartungswahrscheinlichkeit für die Folge
»00000000« beispielsweise genauso gross wie die für jede
andere Folge, wie beispielsweise für die Folgen »01101110«.

Die Folge »00000000« ist im allgemeinen in keine Weise
ausgezeichnet oder besser »komprimierbar«. Wenn Du das
bestreitest, dann zeige bitte einmal eine Kompression eines
Oktetts, also einer der 256 Folgen

00000000
00000001
00000010
00000011
...
11111110
11111111

welche die erste und letzte Folge »00000000« und »11111111«
verkürzt und lege dar, wie die anderen 254 Werte dann
dargestellt werden sollen.

Zwar könnte man alle Werte durch die 9-Tupel

100000000
100000001
100000010
100000011
...
111111110
111111111

darstellen und dann die ersten beiden 9-Tupel verkürzt durch

00

und

01

Aber die Kurzdarstellung »00« und »01« könnte man stattdessen
auch für jedes andere Oktett festlegen.

[Raimund Nisius]

Post by Carla Schneider
Bei einer Folge aus lauter Nullen ist der Erwartungswarscheinlichkeit

^^^^^^^^^^^^^^^^^^^^^^^^^^^
Was ist das?

Post by Carla Schneider
eine Null zu bekommen eins, d.h. die Nachricht enthaelt keine
Information.

Doch, die Nachricht enthält die Information "n mal die Null".

Post by Carla Schneider
Maximale Information hat man wenn der Erwartungswert fuer
alle vorkommenden Zeichen gleich ist, (und es mindestens 2 verschiedene
Zeichen gibt).

Dann hat die Nachricht 0000000011111111 maximale Information? Glaub ich
nicht.

Eine Quelle, bei der die Erwartungswahrscheinlichkeit für »0« gleich 0,5
ist, kann durchaus in einem konkreten Fall eine lange endliche Folge
liefern, die nur aus »0«-Zeichen besteht.

Es kommt auf die Quelle an.

Wenn ich ich eine Menge von N verschiedenen Informationsobjekten als
mögliche Nachricht übertragen können will, muß ich N eindeutig
verschiedene Repräsentationen der Nachricht erzeugen.

Dazu brauche ich k Bit wobei 2^k>=N und 2^(k-1) <= N gilt. Ich muß auch
mit dem Empfänger die Kodierung, also die Zuordnung von Binärzahl zu
Informationsobjekten festlegen. Ob das nun ein cooler Algorithmus, oder
eine schnöde Tabelle ist, ist nur eine Frage der Nützlichkeit.

Wenn N kleiner ist, als die Anzahl der denkbaren Informationsobjekten,
dann nennt man das Redundanz, und die Kodierung kann kleiner ausfallen,
als das Informationsobjekt.

Der weiße Bildschirm ist eben nicht genauso wahrscheinlich, wie der
verrauschte. Letzteren will keiner Übertragen. Von den denkbaren
Bildschirminhalten werden die meisten nicht übertragen. Daher rührt die
Redundanz des Bildsignals und die Effektivität der Kompression.

Einen BW-Terminalbildschirm kann man prima durch Angabe der
ASCII-Zeichen, die er darstellt komprimieren. Der Empfänger kennt die
Font und die Zeilenlänge. Möchte ich diesem Empfänger auf diese Weise
ein Bild mit diagonalen Schlangenlinien zukommen lassen, habe ich
verloren.

Lasse ich *alle* denkbaren Bildinhalte als Nachricht zu, ist das
effektivste Verfahren "keine Kompression" der Bilddaten. Alle Zustände
von "Pixel An" und "Pixel aus" benötigen zur Kodierung für k Pixel eben
genau 2^k Bit. Wenn ich für bestimmte Bildinhalte trickse, kostet das
bei anderen Inhalten entsprechend Mehraufwand.



-- Gruß, Raimund Mein Pfotoalbum <http://www.raimund.in-berlin.de> Mail
ohne Anhang an <Reply-To:> wird gelesen. Im Impressum der Homepage
findet sich immer eine länger gültige Adresse.

[Stefan Ram]

Post by Carla Schneider
Bei einer Folge aus lauter Nullen ist der Erwartungswarscheinlichkeit

Was ist das? ^^^^^^^^^^^^^^^^^^^^^^^^^^^

Hier antwortest Du auf einen von mir stammenden Artikel,
zitierst aber einen Text von Carla und stellst eine Frage dazu.
Daher vermute ich, daß Deine Frage sich an Carla richtet, und
hoffe, daß es nicht als unhöflich angesehen wird, wenn ich sie
nicht beantworte.

[Raimund Nisius]

Post by Stefan Ram

Post by Carla Schneider
Bei einer Folge aus lauter Nullen ist der Erwartungswarscheinlichkeit

Was ist das? ^^^^^^^^^^^^^^^^^^^^^^^^^^^

Hier antwortest Du auf einen von mir stammenden Artikel,
zitierst aber einen Text von Carla und stellst eine Frage dazu.
Daher vermute ich, daß Deine Frage sich an Carla richtet, und
hoffe, daß es nicht als unhöflich angesehen wird, wenn ich sie
nicht beantworte.

Mir ist klar, daß das hier Usenet ist. Den Begriff hast Du übrigens auch
verwandt.

[Stefan Ram]

Post by Raimund Nisius

Post by Carla Schneider
Bei einer Folge aus lauter Nullen ist der Erwartungswarscheinlichkeit

Mir ist klar, daß das hier Usenet ist. Den Begriff hast Du übrigens auch
verwandt.

Zumindest das bis auf Details der Schreibweise gleiche Wort.

Ich verwendete erstens »Erwartungswahrscheinlichkeit 0,5«.
Außerdem verwendete ich zweitens »gleiche
Erwartungswahrscheinlichkeit« einer Menge möglicher
Ereignisse.

In beiden Fällen bedeutet dies:

Der Empfänger hat die kleinstmögliche Information darüber,
welches der (im ersten Fall: beiden) möglichen Ereignisse
eintreten wird: nämlich gar keine Information. Alle (im ersten
Fall: beide) möglichen Ereignisse werden gleichermaßen
erwartet.

[Jens Dierks]

Post by Carla Schneider
Nein, ein brauchbares Kompressionsverfahren wird niemals eine
Folge gleicher Zahlen als ergebnis der Kompression haben,
ganz gleich was fuer Eingangsdaten es erhaelt.
Ein brauchbares Kompressionsverfahren zeichnet sich naemlich dadurch aus
dass man das Ergebnis nicht weiter komprimieren kann, und das koennte man
wenn lauter gleiche Zeichen herauskaemen.

Das muss man etwas präzisieren: Es kommt darauf an, wie viele
Informationen man übetragen will. Je größer die Anzahl an Informationen,
desto mehr unterschiedliche Bitkombinationen werden zur Übertragung
benötigt.
Bei 256 unterschiedlichen Werten benötigt man logischerweise mindestens
8 Bit, damit eine eindeutige Zuordnung möglich ist. Eine 8-stellige
Nullfolge von Bits ist hier also nicht weiter komprimierbar.

Gruß Jens

[Gerhard Tenner]

Post by Jens Dierks
Gerade bei der Kompression wird aber deutlich, dass eine
(längere) Folge gleicher Zahlen offensichtlich kaum
verwertbare Information enthält.

Schon wieder falsch.
Es ist absurd, anzunehmen ein Datei enthielte weniger Information, wenn
sie staerker komprimiert werden kann. Umgekehrt wird es richtig,
Kompressionsverfahren werden effektiv, wenn sie die Struktur der
Information beachten. Ein Verfahren, das wiederholte Folgen und
unterscheidlich haeufige Zeichen erwartet, wird bei solchen effektiv
arbeiten. Bekommt es anderes Futter, passiert nichts.

Wenn Sender und Empfaenger den gleichen Zufallszahlengenerator mit
gleichem Anfangswert nutzen um eine stinknormalen Text zu verschluesseln
(letzte 8 Bit addieren und beim Empfaenger abziehen), muss ein Packer
passen - aber der Informationsgehalt aendert sich nicht. Es ist die
natuerliche Sprache und es ist die Zeichencodierung, die da Kompression
ermoeglicht. Da der Empfaenger die Zufallszahlenfolge schon vorher kennt,
ist die gar keine Information - bestimmt aber allein die Laenge der
gepackten Datei.

Gruss Gerhard

Origin: Lohnarbeit muß sich lohnen für den, der zahlt.
Nicht Arbeit muß sich da lohnen, sondern arbeiten lassen.
---

[Gerhard Tenner]

Post by Jens Dierks
Dann habe ich dich falsch verstanden, ich ging zB von einem
Buch aus, dessen Zeichen (und somit Bitfolge) man derart
"kodiert", dass nur eine Folge von Nullen herauskommt.
Dann enthält der Schlüssel, um die Informationen zu gewinnen,
praktisch die gesamte Information des Buches.

Nein, Du hast nicht ihn sondern "Information" nicht verstanden.
Du must unterscheiden zwischen zaehlen von Speicherorten (zB in einem RAM-
Riegel) und Information. Information ist niemals eine objektive von den
sendenenden und empfangenden Subjekten unanbhaengige Quantitaet. In Deinem
Beispiel ist die Information nur vorhanden, wenn Buch und Schluessel beim
gleichen Subjekt (Menschen) zusammenkommen und er das Verfahren kennt und
benutzen kann (ohne Beleuchtung wirds schon unmoeglich).

Speicherorte kann man zaehlen und Aenderungen derer physikalischen
Parameter mesen - Information entzieht sich diesem Verfahren. Das ist
allgemein bekannt und deshalb verwendet man den Begriff "Information" in
dem Kontext als Bezeichner fuer gezaehlte Speicherorte. Kein Mensch kommt
auf die Idee, nen 1-MByte-Speicher je nach "Fuellzustand" oder Zustand der
einzelnen Speicherorte anders gross zu finden.
Das verwirrt natuerlich, genau wie es verwirrt das Materie und Antimaterie
beides Materie sind. Information ohne Kontext verwirrt immer. Ein sehr
einleuchtendes Beispiel fuer die Kontextabhaengigkeit von Information ist
uebrigens das Paar rechts-links. Was meint der, der mich vis-a-vis
anschaut, mit rechts? Seins oder meins?

Gruss Gerhard

Origin: Lohnarbeit muß sich lohnen für den, der zahlt.
Nicht Arbeit muß sich da lohnen, sondern arbeiten lassen.
---

[Roland Damm]

Moin,

Nachtrag:

Die ganze Sache hat doch wohl viel mit dem Maxwellschen Dämon zu tun.
Und dann wieder mit dem 2. HS der Thermodynamik.
Wieso eigentlich all diese Verrenkungen, wenn man doch anderswo
sowieso nur immer wieder hört, dass der 2.HS nur ein Erfahrungssatz
ist und keine grundlegende Gültigkeit haben muss?

Welches theoretische Problem würde daraus erwachsen, wenn man einfach
hinnähme, dass der 2.HS meistens gewahrt bleibt, aber gewisse
geschickt konstruierte Maschinen durchaus auch aus Wärme mechanische
Energie gewinnen könnten (ohne eine Wärmesenke aufzuheizen)? Nur dass
das eben praktisch schwer möglich ist.
Es ist doch in der Physik nichts ungewöhnliches, an Dinge zu glauben,
die man noch im Labor nicht erzeugen kann (freie Quarks, Schwarze
Löcher,...).
Warum wird aber ein Maxwellscher Dämon für so unmöglich gehalten dass
sich die ganze Informationstheorie daran ausrichten muss und
Information plötzlich zu einem Energieträger definiert wird?

CU Rollo

[Gerhard Tenner]

Post by Roland Damm
Warum wird aber ein Maxwellscher Dämon für so unmöglich
gehalten dass sich die ganze Informationstheorie daran
ausrichten muss und Information plötzlich zu einem
Energieträger definiert wird?

Sie ist kein Energietraeger und hat mit dem 2. Hauptsatz nichts zu tun.

Was mit dem zu tun hat, das ist ein jedwedes physikalisches Verfahren,
welches einen Zustand eines physikalischen Objektes veraendert oder auch
nur bestimmt. Zu meinen, das haette einen quantitativen Zusammenhang mit
einer Informationsmenge ist Unfug. Es hat nur einen qualitativen.

Das senden von Informationen an eine Null-Device ist kein Verfahren um die
Menge der Materie im Universum zu reduzieren. Information ist nicht
materiell, sie bedarf nur materieller Basis.

Gruss Gerhard

Origin: Lohnarbeit muß sich lohnen für den, der zahlt.
Nicht Arbeit muß sich da lohnen, sondern arbeiten lassen.
---

[Carla Schneider]

Post by Roland Damm
Moin,

Post by Carla Schneider
Die Information die man in einer elektromagnetischen Nachricht
(Wellenpaket) unterbringen kann ist ebenfalls interessant.
Die Informationsmenge muesste dabei der Groessenordnung Wirkung,
d.h. Energie*Zeit entsprechen.

Und wie war das mit der Information, die übertragen wird indem
_nichts_ übertragen wird?

Das ist wohl so wie mit dem Informationsgehalt einer Datei die aus
lauter Nullen besteht, er ist viel kleiner als
der Anzahl der Bytes entspricht. D.h. man kann sie komprimieren
auf eine viel kleinere Dateigroesse. Die urspruengliche Datei
ist zwar gross enthaelt aber fast keine Information.
Wenn man sich fuer die Uebertragungskapazitaet interessiert sollte
man eine Nachricht mit maximalem Informationsgehalt uebertragen.
Eine echte Zufallsfolge von bytes ist ein gutes Beispiel dafuer.

Post by Roland Damm
Es könnte z.B. jede ms ein Signal gesendet
werden, aber es wird nicht gesendet, weil eben eine Null-Folge
gesendet wird. Hat diese Nullfolge dann etwa keine Information?

So viel wie die Datei aus lauter Nullen - d.h. eigentlich nur die
Laenge der Datei und eine Null.

Post by Roland Damm
Wie
schon gesagt, kann jede Informationsübertragung so codiert werden,
dass sie bei bestimmtem Inhalt zu einer Nullfolge wird.

Dann steckt aber die eigentliche Information in der Codierung,
die ja auch uebertragen werden muss.

[Stefan Ram]

Post by Carla Schneider
Das ist wohl so wie mit dem Informationsgehalt einer Datei die aus
lauter Nullen besteht, er ist viel kleiner als
der Anzahl der Bytes entspricht.

Ich habe dieser Ansicht mehrfach mit Begründung widersprochen.
Daher diesmal nur der Widerspruch für das Protokoll -
ohne erneute Begründung.

Post by Carla Schneider

Wie schon gesagt, kann jede Informationsübertragung so codiert
werden, dass sie bei bestimmtem Inhalt zu einer Nullfolge
wird.

Dann steckt aber die eigentliche Information in der Codierung,
die ja auch uebertragen werden muss.

Auch hier.

[Roland Damm]

Moin,

Post by Carla Schneider

Post by Roland Damm
Und wie war das mit der Information, die übertragen wird indem
_nichts_ übertragen wird?

Das ist wohl so wie mit dem Informationsgehalt einer Datei die aus
lauter Nullen besteht, er ist viel kleiner als
der Anzahl der Bytes entspricht. D.h. man kann sie komprimieren
auf eine viel kleinere Dateigroesse. Die urspruengliche Datei
ist zwar gross enthaelt aber fast keine Information.

Nach entsprechender Entschlüsselung hat sie wieder Information, das
hilft nicht weiter.

Aber es kommt noch schlimmer: Was, wenn die Datei eine Länge hat, die
der Zahl entspricht, die sich ergibt, wenn man PI auf viele Stellen
genau hinschreibt? Wie viele Informationen sind das?

Ich könnte mir vage einen Ausweg aus dem Dilemma denken, wenn man
postuliert, dass eine Information zur Übertragung wenigstens ein
Quant braucht. (Auch bei der Übertragung von Nullen muss ja
wenigstens am Ende der Folge irgendein Signal übertragen werden das
das Ende der Übertragung markiert.) Die Zahl PI ist dann in diesem
Sinne _eine_ Information, egal auf wie viele Stellen genau sie
übertragen/gespeichert wird.
Das deckt sich natürlich nicht mit der Sichtweise, alles in Binärcode
zu betrachten, weil man binär alle Informationen kodieren kann.
In dieser anderen Sichtweise sind Informationen analoge Dateneinheiten
von tehoretisch beliebiger Genauigkeit wobei Entropie zum Speichern
und übertragen nur nach Anzahl der Informationen zu berechnen ist,
nicht jedoch nach der Genauigkeit jeder einzelnen Information.
Mit der Sichtweise könnte ich mir denken, ließen sich ein paar
Merkwürdigkeiten beseitigen, aber ich fürchte dass dafür andere
ebensogroße entstehen - falls nicht die Beziehung zwischen
Information und Energie/Entropie sowieso nur ein großer Irrtum oder
auch Zirkelschluss ist.

Post by Carla Schneider
Wenn man sich fuer die Uebertragungskapazitaet interessiert sollte
man eine Nachricht mit maximalem Informationsgehalt uebertragen.
Eine echte Zufallsfolge von bytes ist ein gutes Beispiel dafuer.

Die übrigens keine Information enthält:-)

Post by Carla Schneider
So viel wie die Datei aus lauter Nullen - d.h. eigentlich nur die
Laenge der Datei und eine Null.

Ist doch ganz einfach: Man vereinbare ein Verschlüsselungsverfahren.
Ein Text wird so verschlüsselt und am Ende kommt ein neuer
Kauderwelsch heraus. Ein ganz bestimmter Originaltext kann jedoch
genau eine Nullfolge ergeben. Aber nur einer. Enthält dann genau
dieser eine Text (fast)keine Information? Mit welchem Grund willst du
das sagen, wo doch der Text im Original genau so informativ sein
kann, wie jeder andere der nach Verschlüsselung keine Nullfolge
ergibt. Wenn Information eine messbare Größe sein soll, dann muss sie
durch eine Invariante gemessen werden können die nicht davon abhängt,
welches Codierungsverfahren verwendet wurde.

Post by Carla Schneider
Dann steckt aber die eigentliche Information in der Codierung,
die ja auch uebertragen werden muss.

Aber nur ein mal, der ein mal vereinbarte Code kann unbegrenzt
wiederverwendet werden. Das macht pro Übertragung einen beliebig
kleinen (gegen Null gehenden) Aufwand aus. Klingt nicht nach
Erhaltungsgröße...

CU Rollo

[Carla Schneider]

Post by Roland Damm
Moin,

Post by Carla Schneider

Post by Roland Damm
Und wie war das mit der Information, die übertragen wird indem
_nichts_ übertragen wird?

Das ist wohl so wie mit dem Informationsgehalt einer Datei die aus
lauter Nullen besteht, er ist viel kleiner als
der Anzahl der Bytes entspricht. D.h. man kann sie komprimieren
auf eine viel kleinere Dateigroesse. Die urspruengliche Datei
ist zwar gross enthaelt aber fast keine Information.

Nach entsprechender Entschlüsselung hat sie wieder Information, das
hilft nicht weiter.
Aber es kommt noch schlimmer: Was, wenn die Datei eine Länge hat, die
der Zahl entspricht, die sich ergibt, wenn man PI auf viele Stellen
genau hinschreibt? Wie viele Informationen sind das?

Das verstehe ich gar nicht - Pi = 3.141... was soll das fuer eine Laenge sein ?
3 Worte ? Oder willst du das Komma weglassen und aus den Ziffern eine natuerliche
Zahl bilden ? Warum dann nicht gleich die Zahl uebertragen, das ist doch die Information.

Post by Roland Damm
Ich könnte mir vage einen Ausweg aus dem Dilemma denken, wenn man
postuliert, dass eine Information zur Übertragung wenigstens ein
Quant braucht. (Auch bei der Übertragung von Nullen muss ja
wenigstens am Ende der Folge irgendein Signal übertragen werden das
das Ende der Übertragung markiert.)
Die Zahl PI ist dann in diesem
Sinne _eine_ Information, egal auf wie viele Stellen genau sie
übertragen/gespeichert wird.
Das deckt sich natürlich nicht mit der Sichtweise, alles in Binärcode
zu betrachten, weil man binär alle Informationen kodieren kann.
In dieser anderen Sichtweise sind Informationen analoge Dateneinheiten
von tehoretisch beliebiger Genauigkeit wobei Entropie zum Speichern

Beliebige Genauigkeit bedeutet natuerlich auch beliebig viel Information.

Post by Roland Damm
und übertragen nur nach Anzahl der Informationen zu berechnen ist,
nicht jedoch nach der Genauigkeit jeder einzelnen Information.
Mit der Sichtweise könnte ich mir denken, ließen sich ein paar
Merkwürdigkeiten beseitigen, aber ich fürchte dass dafür andere
ebensogroße entstehen - falls nicht die Beziehung zwischen
Information und Energie/Entropie sowieso nur ein großer Irrtum oder
auch Zirkelschluss ist.

Die Beziehung Information zur Entropie kommt allein ueber die Statistik.

Post by Roland Damm

Post by Carla Schneider
Wenn man sich fuer die Uebertragungskapazitaet interessiert sollte
man eine Nachricht mit maximalem Informationsgehalt uebertragen.
Eine echte Zufallsfolge von bytes ist ein gutes Beispiel dafuer.

Die übrigens keine Information enthält:-)

Die maximale Information enthaelt, weil sie prinzipiell
nicht komprimierbar ist. Ob du mit der Information etwas anfangen kannst
ist wieder eine ganz andere Frage. Wenn man z.B. eine Folge von Bytes hat
bei denen statistisch bestimmte Bytes oder Kombinationen davon
haeufiger vorkommen als die anderen kann man den Stream komprimieren.
Wenn es sich z.B. um Englische Sprache in Ascii Zeichen handelt,
braucht man fuer jedes Zeichen nur 6 statt 8 bit, wenn man die Haeufigkeit
von Buchstaben in betracht zieht noch weniger, wenn man die haeufigsten Woerter
codiert kann man noch mehr sparen usw.

Post by Roland Damm

Post by Carla Schneider
So viel wie die Datei aus lauter Nullen - d.h. eigentlich nur die
Laenge der Datei und eine Null.

Ist doch ganz einfach: Man vereinbare ein Verschlüsselungsverfahren.
Ein Text wird so verschlüsselt und am Ende kommt ein neuer
Kauderwelsch heraus. Ein ganz bestimmter Originaltext kann jedoch
genau eine Nullfolge ergeben. Aber nur einer. Enthält dann genau
dieser eine Text (fast)keine Information?

Bei einem Verschluesselungsverfahren schon, aber nicht bei einem
Daten-kompressionsverfahren, denn da kann keine Nullfolge herauskommen,
und auch keine andere Folge von gleichen Zeichen, dafuer wird die gesamtmenge an
Daten reduziert.

Datenkompressionsverfahren nutzen die Tatsache aus dass z.B. bei einer Nachricht
von 1kbyte laenge die tatsaechlichen Nachtrichten im Raum der
256 hoch 1024 moeglichkeiten nicht gleichverteilt sind sondern in einem Teilraum
liegen den man schon vorher kennt. Wenn das nicht so ist, kann man durch Kompression
nichts gewinnen. Deshalb sind echt zufaellige Folgen aus Nullen und Einsen nicht
komprimierbar.

Post by Roland Damm
Mit welchem Grund willst du
das sagen, wo doch der Text im Original genau so informativ sein
kann, wie jeder andere der nach Verschlüsselung keine Nullfolge
ergibt.

Dass ein text nach einer Verschluesselung (nicht Kompression) eine
Nullfolge ergibt ist zwar moeglich, aber bei einem laengeren Text
so unwarscheinlich dass man den Fall vernachlaessigen kann.

Post by Roland Damm
Wenn Information eine messbare Größe sein soll, dann muss sie
durch eine Invariante gemessen werden können die nicht davon abhängt,
welches Codierungsverfahren verwendet wurde.

Post by Carla Schneider
Dann steckt aber die eigentliche Information in der Codierung,
die ja auch uebertragen werden muss.

Aber nur ein mal, der ein mal vereinbarte Code kann unbegrenzt
wiederverwendet werden. Das macht pro Übertragung einen beliebig
kleinen (gegen Null gehenden) Aufwand aus. Klingt nicht nach
Erhaltungsgröße...

Der Aufwand geht gegen Null wenn die Menge der Information die mit dem
Code uebertragen wird gross wird gegenueber der Groesse des Codes.
So sollte man das auch betrachten. Vorkommende kurze Nullfolgen
im verschluesselten Signal sind dann fuer die Gesamtmenge an Information
voellig unerheblich.

[Raimund Nisius]

Post by Carla Schneider

Post by Roland Damm
Ist doch ganz einfach: Man vereinbare ein Verschlüsselungsverfahren.
Ein Text wird so verschlüsselt und am Ende kommt ein neuer
Kauderwelsch heraus. Ein ganz bestimmter Originaltext kann jedoch
genau eine Nullfolge ergeben. Aber nur einer. Enthält dann genau
dieser eine Text (fast)keine Information?

Bei einem Verschluesselungsverfahren schon, aber nicht bei einem

Die Verschlüsselung ändert die Informationsmenge nicht, weil sie jede
Information auf genau eine andere abbildet. Sie kann aber die Analyse
der Redundanz des Nachrichtenpools erschweren oder erleichtern.

Post by Carla Schneider
Daten-kompressionsverfahren, denn da kann keine Nullfolge herauskommen,

Das optimale Kompressionsverfahren wird 2^k Nachrichten auf 2^k Worte
aus k Bit abbilden. Eine Nullfolge muß dann zwingend unter den
Resultaten sein.

Post by Carla Schneider
und auch keine andere Folge von gleichen Zeichen, dafuer wird die
gesamtmenge an Daten reduziert.

Wenn Du das Ergebnis (Nullfolge) einer Kompression weiter komprimieren
willst, mußt Du diese Tatsache als weitere Information zufügen. Das
zwingt Dich, der Nachricht einen Header über die angewandten
Kompressionsverfahren voranzustellen. Wenn die erste Kompression schon
ideal ist, liefert die 2. nur in Spezialfällen eine Verkürzung, im
Mittel aber vergrößert sie den Aufwand. Der Spezialfall ist aber nicht
da Thema von Komressionsverfahren.

Post by Carla Schneider
Datenkompressionsverfahren nutzen die Tatsache aus dass z.B. bei einer
Nachricht von 1kbyte laenge die tatsaechlichen Nachtrichten im Raum der
256 hoch 1024 moeglichkeiten nicht gleichverteilt sind sondern in einem
Teilraum liegen den man schon vorher kennt. Wenn das nicht so ist, kann
man durch Kompression nichts gewinnen. Deshalb sind echt zufaellige
Folgen aus Nullen und Einsen nicht komprimierbar.

Im Mittel. Echte Zufallsfolgen endlicher Länge können problemlos
systematische Eigenschaften aufweisen, die die endlose Folge nicht mehr
hat.

[Roland Damm]

Moin,

Post by Carla Schneider
Das verstehe ich gar nicht - Pi = 3.141... was soll das fuer eine
Laenge sein ? 3 Worte ? Oder willst du das Komma weglassen und aus
den Ziffern eine natuerliche Zahl bilden ? Warum dann nicht gleich
die Zahl uebertragen, das ist doch die Information.

Anders formuliert: Ich vereinbare - ein mal muss ich das tun - wie ich
Zahlen übertrage: Basiseinheit ist ein Jahr. Das Funksignal (genau
eins) kommt dann, wenn so viel Zeit vergangen ist, wie in Relation zu
einem Jahr der Zahl entspricht. Bei PI also nach 3.1415... Jahren.
Es wird also genau einmal etwas gesendet und es ist nur einmal ein
Code vereinbart worden. Dennoch kann die Zahl PI auf nur noch
technisch begrenzte Genauigkeit übertragen werden, theoretisch sehe
ich keine Grenze der Genauigkeit. Wahlweise kannst du auch ein ganzes
Buch als Zahl darstellen und diese auf diese Weise übertragen. Für
die gesamte Information wird nur einmal ein Code vereinbart und
einmal ein Signal gesendet.

Wenn du behauptest, ein langes Buch habe mehr Information als ein
kurzes, dann gibt's hier ein Problem da die nötige Energiemenge zur
Übertragung konstant ist und nicht proportional zur Datenmenge.
Daher meine Idee, einfach eine beliebig genaue Analoginformation
einfach nur wie _eine_ Information zu handhaben.

Post by Carla Schneider
Beliebige Genauigkeit bedeutet natuerlich auch beliebig viel
Information.

Nach meinem vermutlich fraglichem Ansatz eben nicht. Wenn doch, gibt's
eben andere Probleme, wie geschildert. Wenn große Genauigkeit einer
analogen Information gleichbedeutend ist mit großer
Informationsmenge, dann gäbe es keine untere Schranke für die zur
Übertragung mindestens notwendige Energie/Entropie.

Post by Carla Schneider
Die Beziehung Information zur Entropie kommt allein ueber die
Statistik.

Entropie ist aber eine messbare Größe oder lässt sich aus messbaren
physikalischen Größen ableiten.

CU Rollo

[Raimund Nisius]

Post by Roland Damm
Anders formuliert: Ich vereinbare - ein mal muss ich das tun - wie ich
Zahlen übertrage: Basiseinheit ist ein Jahr. Das Funksignal (genau
eins) kommt dann, wenn so viel Zeit vergangen ist, wie in Relation zu
einem Jahr der Zahl entspricht. Bei PI also nach 3.1415... Jahren.
Es wird also genau einmal etwas gesendet und es ist nur einmal ein
Code vereinbart worden. Dennoch kann die Zahl PI auf nur noch
technisch begrenzte Genauigkeit übertragen werden, theoretisch sehe
ich keine Grenze der Genauigkeit. Wahlweise kannst du auch ein ganzes
Buch als Zahl darstellen und diese auf diese Weise übertragen. Für
die gesamte Information wird nur einmal ein Code vereinbart und
einmal ein Signal gesendet.
Wenn du behauptest, ein langes Buch habe mehr Information als ein
kurzes, dann gibt's hier ein Problem da die nötige Energiemenge zur
Übertragung konstant ist und nicht proportional zur Datenmenge.

Die Uhren des Senders des Empfängers und benötigen Energie mindestens
proportional zur Zeitdauer und zur Auflösung.

[Carla Schneider]

Post by Roland Damm
Moin,

Post by Carla Schneider
Das verstehe ich gar nicht - Pi = 3.141... was soll das fuer eine
Laenge sein ? 3 Worte ? Oder willst du das Komma weglassen und aus
den Ziffern eine natuerliche Zahl bilden ? Warum dann nicht gleich
die Zahl uebertragen, das ist doch die Information.

Anders formuliert: Ich vereinbare - ein mal muss ich das tun - wie ich
Zahlen übertrage: Basiseinheit ist ein Jahr. Das Funksignal (genau
eins) kommt dann, wenn so viel Zeit vergangen ist, wie in Relation zu
einem Jahr der Zahl entspricht. Bei PI also nach 3.1415... Jahren.

D.h. ich brauche 2 Funksignale und die Information durch die Dauer
der zwischenzeit codiert.

Post by Roland Damm
Es wird also genau einmal etwas gesendet und es ist nur einmal ein
Code vereinbart worden. Dennoch kann die Zahl PI auf nur noch
technisch begrenzte Genauigkeit übertragen werden, theoretisch sehe
ich keine Grenze der Genauigkeit.

Es sieht so aus als ob bei diesem Verfahren aehnliche Einschraenkungen
gelten wie bei allen anderen. Man kann bei gleicher Sendeenergie , also der
Energiemengen von Anfangs und Endimpuls, um so mehr Information
uebertragen je mehr Zeit man sich dazwischen laesst.
Die Genauigkeit der Zeitmessung haengt von der Frequenz
der Signale ab, je hoeher desto besser, was dann aber wegen der Quantisierung
auch hoehere Sendeenergie erfordert. Es gibt allerdings ein Limit: Die
Genauigkeit der Uhren.

Post by Roland Damm
Wahlweise kannst du auch ein ganzes
Buch als Zahl darstellen und diese auf diese Weise übertragen.

Das muss ein sehr kurzes Buch sein.
Du musst die Zwischenzeit verdoppeln um ein bit mehr zu uebertragen.
D.h. der Zeitverbrauch geht exponentiell mit der Informationsmenge.
Ausserdem muss noch ein drittes Signal uebertragen werden, eines mit fester Zeit,
um solche Dinge wie den Doppler Effekt zu kompensieren.

Post by Roland Damm
Für
die gesamte Information wird nur einmal ein Code vereinbart und
einmal ein Signal gesendet.

Ich wuerde sagen 2, besser 3 Signale.

Post by Roland Damm
Wenn du behauptest, ein langes Buch habe mehr Information als ein
kurzes, dann gibt's hier ein Problem da die nötige Energiemenge zur
Übertragung konstant ist und nicht proportional zur Datenmenge.

Nein du brauchst bei gleicher Sendeenergie mehr Zeit, oder
bei gleicher Zeit mehr Energie wenn du mehr Information uebertragen willst.

Post by Roland Damm
Daher meine Idee, einfach eine beliebig genaue Analoginformation
einfach nur wie _eine_ Information zu handhaben.

Post by Carla Schneider
Beliebige Genauigkeit bedeutet natuerlich auch beliebig viel
Information.

Nach meinem vermutlich fraglichem Ansatz eben nicht. Wenn doch, gibt's
eben andere Probleme, wie geschildert. Wenn große Genauigkeit einer
analogen Information gleichbedeutend ist mit großer
Informationsmenge, dann gäbe es keine untere Schranke für die zur
Übertragung mindestens notwendige Energie/Entropie.

Post by Carla Schneider
Die Beziehung Information zur Entropie kommt allein ueber die Statistik.

Entropie ist aber eine messbare Größe oder lässt sich aus messbaren
physikalischen Größen ableiten.

Aber sie ist eine statistische Groesse, also nur exakt wenn du
irgendeine Groesse gegen unendlich gehen laesst die in der Praxis immer
endlich sein muss.

[Gerhard Tenner]

Post by Roland Damm
Aber es kommt noch schlimmer: Was, wenn die Datei eine Länge
hat, die der Zahl entspricht, die sich ergibt, wenn man PI auf
viele Stellen genau hinschreibt? Wie viele Informationen sind
das?

Auch nach weiteren Hin- und Her werdet ihr kein Schrittchen Euch bewegen,
wenn ihr nicht Informationslaenge als Parameter eines Signals und
Informationsmenge als Parameter eines geaenderten Informatinsstandes von
Subjekten auseinander haltet. Mit Dilemma hat das soviel zu tun wie es ein
Dilemma ist, das die Information nicht weniger wird, wenn man sie wem
anders weitergibt, wohl aber der Informationsstand aller Empfaenger sich
erhoehen kann - sowas stoert nur Leute, die zu ihrem Wohlbefinden einen
Mengenerhaltungssatz bei Informationen brauchen.

Gruss Gerhard

Origin: Lohnarbeit muß sich lohnen für den, der zahlt.
Nicht Arbeit muß sich da lohnen, sondern arbeiten lassen.
---