Formelsammlung Informationstheorie

1 Informationsbegriff

1.1 Definition

1.2 Informationsbegriff nach Shannon

2 Wahrscheinlichkeiten

2.1 Unabhängige Wahrscheinlichkeit

2.2 Bedingte Wahrscheinlichkeit

3 Informationsquellen

3.1 Definition

3.2 Quellen ohne Gedächtnis

3.3 Quellen mit Gedächtnis (Markow-Quellen)

3.4 Verbundquellen

3.5 Verbundquellen mit abhängigen Ereignissen

3.6 Beispiel

4 Informationsübertragung

4.1 Grundmodell

5 Informationsmaße

5.1 Summe aller Wahrscheinlichkeiten

5.2 Informationsgehalt

5.3 Entscheidungsgehalt

5.4 Mittlerer Informationsgehalt und Entropie

5.5 Entropie einer Verbundquelle

5.6 Entropie einer Verbundquelle mit abhängigen Ereignissen

5.7 Entropieredundanz

5.8 Symmetrisch gestörter Binärkanal

5.9 Beispiel Entropien

6 Codierung von Informationen

6.1 Definition

6.2 Informationsfluss

6.3 Kanalkapazität

6.4 Signalkodierung