Shannon (Einheit)

Shannon (Sh) ist die nach dem amerikanischen Mathematiker und Begründer der Informationstheorie Claude Elwood Shannon benannte Einheit für den Informationsgehalt einer Nachricht.

Definition

Ein Shannon (1 Sh) ist eine Einheit für das Maß an Information in einer Nachricht. Dabei wird die Nachricht (das Signal) durch eine Zeichenmenge $ Z=\{z_1,z_2,...,z_S\} $ sowie durch die Wahrscheinlichkeiten $ p_i $, mit denen die einzelnen Zeichen in der Nachricht auftauchen, beschrieben. Eine solche Nachricht besitzt nach Definition den folgenden, in Shannon (Sh) gemessen, Informationsgehalt von:

$ -\sum_i{p_i \cdot \log_2 p_i} $

Die Einheit Sh ergibt sich aus der von Claude Shannon begründeten Informationstheorie und entspricht der Entropie der betreffenden Nachrichtenquelle und in der Biometrie dem Shannon-Index einer Population unterschiedlicher Spezies.

Beispiele

  • Das einfachste Beispiel: Eine einmalige Nachricht aus dem Zeichenvorrat $ Z=\{0,1\} $, wobei beide Zeichen mit der Wahrscheinlichkeit von je 1/2 auftreten, hat den Informationsgehalt $ -\frac 1 2 \; \log_2 \!\left(\frac 1 2\right) - \frac 1 2 \; \log_2 \!\left(\frac 1 2\right) = -\log_2 \!\left(\frac 1 2\right) = \log_2 (2) = 1\!\; $ (Sh).
  • Wenn der Zeichenvorrat aus zehn Zeichen, etwa $ \{0,1,2,3,4,5,6,7,8,9\} $ besteht, wobei wieder alle Zeichen mit gleicher Wahrscheinlichkeit auftreten, dann beträgt der Informationsgehalt $ -\log_2 \left(\frac{1}{10} \right) = \log_2 (10) \approx 3{,}322\ \mathrm{Sh} $. Das kann man so interpretieren, dass man auf jeden Fall mit einer 4-Bit-Kodierung auskommt, um solche Nachrichten zu übertragen (dies wird etwa durch den BCD-Code realisiert), dass dabei aber noch Redundanz vorhanden ist. Beim BCD-Code äußert sich diese Redundanz so, dass von den 16 unterschiedlichen Zeichen, die mit diesem Code dargestellt werden können, nur 10 wirklich auftreten.

Normung

Begriffsfestlegungen zu Einheiten des Entscheidungsgehalts in der Informationstheorie findet man in den internationalen Normen IEC 60027-3 und ISO 2382-16. Dort ist neben der auf dem Logarithmus zur Basis 2 beruhenden Einheit Shannon (Einheitenzeichen: Sh) noch das auf dem Zehner-Logarithmus beruhende Hartley (Einheitenzeichen: Hart) und die auf dem natürlichen Logarithmus beruhende natürliche Informationseinheit (Einheitenzeichen: nat) erklärt.

„Der Versuch der International Organization for Standardization( ISO) 1975 die Einheit Bit durch die Shannon-Einheit zu ersetzen, […] war rückblickend betrachtet nicht sehr erfolgreich.“

Walter Umstätter [1]

Einzelnachweis

  1. Nachrichten für Dokumentation 49 (4) S. 221-224 (1998)

Diese Artikel könnten dir auch gefallen

Die letzten News aus den Naturwissenschaften

01.04.2021
Teilchenphysik
Myon g-2: Kleines Teilchen mit großer Wirkung
Das Myon g-2-Experiment des Fermilab in den USA steht vor einem Sensationsmoment, der die Geschichte der Teilchenphysik neu schreiben könnte.
01.04.2021
Planeten - Elektrodynamik - Strömungsmechanik
Zwei merkwürdige Planeten
Uranus und Neptun habe beide ein völlig schiefes Magnetfeld.
30.03.2021
Kometen_und_Asteroiden
Der erste interstellare Komet könnte der ursprünglichste sein, der je gefunden wurde
Neue Beobachtungen mit dem Very Large Telescope (VLT) der Europäischen Südsternwarte (ESO) deuten darauf hin, dass der abtrünnige Komet 2I/Borisov einer der ursprünglichsten ist, die je beobachtet wurden.
25.04.2021
Raumfahrt - Astrophysik - Teilchenphysik
Erstmals Atominterferometer im Weltraum demonstriert
Atominterferometer erlauben hochpräzise Messungen, indem sie den Wellencharakter von Atomen nutzen.
25.03.2021
Quantenoptik
Sendungsverfolgung für eine Quantenpost
Quantenkommunikation ist abhörsicher, aber bislang nicht besonders effizient.
24.03.2021
Schwarze_Löcher - Elektrodynamik
Astronomen bilden Magnetfelder am Rand des Schwarzen Lochs von M 87 ab
Ein neuer Blick auf das massereiche Objekt im Zentrum der Galaxie M 87 zeigt das Erscheinungsbild in polarisierter Radiostrahlung.
24.03.2021
Astrophysik
Die frühesten Strukturen des Universums
Das extrem junge Universum kann nicht direkt beobachtet werden, lässt sich aber mithilfe mathematischer Theorien rekonstruieren.
23.03.2021
Supernovae - Teilchenphysik
Können Sternhaufen Teilchen höher beschleunigen als Supernovae?
Ein internationales Forschungsteam hat zum ersten Mal gezeigt, dass hochenergetische kosmische Strahlung in der Umgebung massereicher Sterne erzeugt wird. Neue Hinweise gefunden, wie kosmische Strahlung entsteht.
23.03.2021
Teilchenphysik
Neue Resultate stellen physikalische Gesetze in Frage
Forschende der UZH und des CERN haben neue verblüffende Ergebnisse veröffentlicht.
19.03.2021
Festkörperphysik - Teilchenphysik
Elektronen eingegipst
Eine scheinbar einfache Wechselwirkung zwischen Elektronen kann in einem extremen Vielteilchenproblem zu verblüffenden Korrelationen führen.