Table Of ContentKristian Kroschel
Statistische
Nachrichtentheorie
Erster Teil
Signalerkennung und
Parameterschatzung
Springer-Verlag
Berlin . Heidelberg . New York 1973
Dr.-Ing. KRISTIAN KROSCHEL
Akademischer Rat am
Institut fOr Nachrichtensysteme
der Universitat Karlsruhe
Mit 60 Abbildungen
ISBN-13: 978-3-540-06499-2 e-ISBN-13: 978-3-642-96176-2
001: 10.1007/978-3-642-96176-2
Das Werk ist urheberrechtJich geschiitzt. Die dadurch begriindeten Rechte insbesondere die der
Obersetzung des Nachdruckes. der Entnahme von Abbildungen, der Funksendung, der Wiedergabe auf
photomechanischem oder iihnlichem Wege und der Speicherung in Datenverarbeitungsanlagen
blelben auch bei nur auszugsweiser Verwertung vorbehalten.
Bei Vervielfiiltigungen fiir gewerbliche Zwecke ist gemiiB § 54 UrhG eine Vergiitung an den Verlag zu
zahlen, deren Hiihe mit dem Verlag zu verelnbaren ist.
© by Springer-Verlag. Berlin/Heidelberg 1973.
Library of Congress Catalog Card Number 73 -14484
Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. In dlesem Buche
berechtigt auch ohne besondere Kennzeichnung nicht zur Annahme, daB solche Namen
im Sinne der Warenzelchen- und Markenschutz-Gesetzgebung als frel zu betrachten waren und daher
von jedermann benutzt werden durften.
Offsetdruck: fotokop wilhelm weihert kg. Darmstadt. Elnband Konrad Tritsch, Wiirzburg.
An deutschen Universitaten und Hochschulen ist die statisti
sche Nachrichtentheorie bisher im Gegensatz zum recht umfang
reichen Lehrangebot auf diesem Gebiet in den USA nur sehr we
nig vertreten. Deshalb findet man im deutschen Sprachraum auch
nur wenige einfuhrende Bucher, die sich hauptsachlich mit Teil
aspekten dieses Themas befassen [z. B. 1; 2; 3; 4; 5; 6J. Zu
sammenfassende Darstellungen dieses Gebietes in der Art ameri
kanischer Textbucher [z. B. 7; 8; 9; 10; 11J sind bisher in
der deutschsprachigen Literatur nicht bekannt.
Begrundet wird diese Tatsache dadurch, daB die neueren Entwick
lung en bei der Nachrichtenubertragung und in der Regelungstech
nik, die Kenntnisse auf dem Gebiet der statistischen Nachrich
tentheorie erfordern, durch die Raumfahrt veranlaBt wurden,
die vornehmlich von den USA betrieben wurde. In zunehmendem
MaBe finden Erkenntnisse der statistischen Nachrichtentheorie
nun auch in anderen Bereichen Anwendung, z. B. bei der kom
merziellen Nachrichtenubertragung uber Satelliten, der Daten
ubertragung uber gestorte Kanale und der Regelung komplexer Fer
tigungsprozesse.
Das vorliegende Buch stellt eine Einfuhrung in die statistische
Nachrichtentheorie dar, ohne den Anspruch auf Vollstandigkeit
oder Abgeschlossenheit zu erheben und die neuesten wissen
schaftlichen Erkenntnisse auf diesem Gebiet wiederzugeben. Es
wurde z. B. nicht auf die Codierungstheorie im Zusammenhang
mit optimaler Detektion von Signalen [z. B. 3; 7] oder auf die
sequentielle Detektion [z. B. 11; 12] eingegangen.
- IV -
Das in diesem Buch zusammengefaBte Material entstammt einer
Vorlesung und Vortragen, die ich an der Universitat Karlsruhe
und an anderer Stelle hielt. Inhaltlich wendet es sich an Stu
dent en in hoheren Semestern der Fachrichtungen Nachrichtentech
nik und Regelungstechnik sowie an Ingenieure, die auf Grund
ihres Arbeitsgebietes einen einfUhrenden Einblick in die sta
tistische Nachrichtentheorie gewinnen wollen. FUr weitergehende
Betrachtungen auf diesem Gebiet und speziellere Anwendungen
z. B. bei der Radartechnik sei auf die entsprechende Literatur
verwiesen.
Vorausgesetzt wird bei der LektUre des Buches die Kenntnis der
System- und Netzwerktheorie [z. B. 13] sowie der elementaren
Wahrscheinlichkeitsrechnung [z. B. 14; 15], deren wesentliche,
hier benotigte Ergebnisse im 1. Kapitel des Buches wiederholt
werden.
1m 2. Kapitel wird eine fUr die weiteren Betrachtungen geeig
nete Signaldarstellung gewonnen, die auf die Definition des
sogenannten Vektorkanals fUhrt.
Die einfache und multiple Detektion mit ihren verschiedenen
Ansatzen fUr das Optimalitatskriterium werden im 3. Kapitel be
handelt. Davon ausgehend werden im 4. Kapitel die Prinzipien
der Parameterschatzung oder Estimation hergeleitet. Eine beson
dere Rolle spielen dabei die linearen Schatzsysteme, die das
Optimum aller moglichen Systeme bei gauBschen Storungen darstel
len und deren Beschreibung durch das GauB-Markoff-Theorem er
folgt. Hier wird auch die sequentielle Parameterschatzung be
trachtet, die den Obergang zur Signalschatzung markiert.
In einem zweiten Buch in der Hochschultext-Reihe des Springer
Verlages wird das Thema der Signalschatzung mit Hilfe von
Wiener- und Kalman-Filtern behandelt werden.
Bei der Darstellung des hier gebotenen Stoffes wurden viele
Tabellen und Zusammenfassungen verwendet, um im Faile der An
wendung der Theorie schnell Uber die Ergebnisse der Detektions
und Estimationstheorie verfUgen zu konnen.
Zu einem sehr theoretischen Stoff, wie ihn die statistische
Nachrichtentheorie darstellt, sind Aufgaben und deren Losungen
- v -
unabdingbar. Deshalb wurde zu jedem Problem, das im Text ange
sprochen wird, eine Aufgabe im Anhang gestellt und gelost. Bei
diesen Losungen wird auf typische Eigenschaften der behandelten
Probleme eingegangen, so da~ diese Aufgaben zum Verstandnis des
angesprochenen Sachverhalts dienen sollen.
An dieser Stelle mochte ich all denen danken, die zum Entstehen
dieses Buches beigetragen haben, insbesondere Herrn Prof. Dr.
H. Wolf, dem ich viele Hinweise zur didaktischen Gestaltung des
Buches verdanke.
Karlsruhe, im August 1973 Kristian Kroschel
In haltsverzeich ni s
O. Aufgaben der statistischen Nachrichtentheorie ••....••..•. 1
0.1 Detektion .•••.......•.......•••..•..•.....••••..•••.. 2
0.2 Estimation .•.•.•..••.•.•..•......••............••...• 5
0.3 Entwurfsansatze ..••....•••.•......•.........••..•..•. 9
1. Grundbegriffe der statistischen Systemtheorie ..••....•.. 11
1.1 Begriffe der Statistik •.••...••••...•...•.•.•••..•.• 11
1.2 Transformationen von Zufallsvariablen und Prozessen • 16
2. Signaldarstellung durch Vektoren ....•...•••.....•.••.••• 24
2.1 Darstellung von Prozessen durch Vektoren .....•••.•.. 25
2.2 Vektordarstellung von M Signalen •....•..•..•..•.•... 28
2.2.1 Gram-Schmidt-Verfahren ...•...•...•...•.••..... 30
2.3 Irrelevante Inf orma t ion .•.......•.......•........... 32
2.4 Vektorkanale ..•....................•..........•.•... 35
2.5 Zusammenfassung •..............••.•............•...•. 36
3. Signalerkennung (Detektion) .......•..•.......••......... 38
3. 1 Binare Detekt ion ......•...............••.....•..•... 38
3.1.1 Bayes-Kriterium ........................••...•• 39
3.1.2 Maximum-a-posteriori-Kriterium (MAP) .......... 43
3.1.3 Neyman-Pearson-Kriterium .........••........... 44
3.1.4 Empfangercharakteristik (ROC) .•...........•... 48
- VII -
3.2 Multiple Detektion ••.•••••.•..•.•••••••..•.••••...• 51
3.2.1 MAP-Prinzip fUr multiple Detektion ...•.•..••• 53
3.2.2 Entscheidungsregel bei Gau~prozessen ..••••••. 54
3.2.3 Wahl der Signalvektoren ..•.•••••••••.••••..•• 57
3.2.3.1 Rechtwinklige Signalvektorkonfigu-
rationen ............................. 60
3.2.3.2 Orthogonale und damit verwandte Signal
vektorkonfigurationen ••••••....••.•.• 65
3.2.4 Abschatzung der Fehlerwahrscheinlichkeit ••••• 71
3.2.5 Vergleich der Signalvektorkonfigurationen ••.• 73
3.3 Realisierung der Empfanger fUr die Detektion •••..•• 76
3.4 Zusammenfassung .................................... 83
4. Parameterschatzung (Estimation) •••••••••••••••••••••.•• 85
4.1 Schatzung von Parametern mit bekannter Dichtefunktion
(Bayes-Kriterium) ••..••.•..•••.••..•••....•••.••••• 87
4.1.1 Kostenfunktion des quadratischen Fehlers ••••• 91
4.1.2 Kostenfunktion des absoluten Fehlers •••••.••• 92
4.1.3 Kostenfunktion mit konstanter Bewertung gro~er
Fehler ........................................ 94
4.2 Invarianz des optimalen Schatzwertes bezUglich einer
Klasse von Kostenfunktionen •••••.•••.•...••.••••••• 97
4.3 Schatzung von Parametern ohne jede A-priori-Infor-
rna tion .............................................. 99
4.3.1 Maximum-likelihood-Estimation ••...•.....••••. 101
4.3.2 Minimale Fehlervarianz ...•••••.....•..•••..•. 102
4.4 Mittlerer quadratischer Fehler. Parameter mit bekann-
ter A-priori-Dichte ..••••.••••.•••••..••••.••.••••• 108
4.5 Multiple Parameterestimation ••••••••••••.•••.•..••. 111
4.5.1 Schatzverfahren •.••••.•••••••••••••••••.••.•• 112
4.5.1.1 Parametervektor mit bekannter A-priori-
Dichte ............................... 112
4.5.1.2 Parametervektor ohne A-priori-Infor-
mation ............................... 114
4.5.2 Schatzfehler .......•••••••••••.......••.••••• 114
- VIII -
4.5.2.1 Minimale Fehlervarianzen, Parameter
vektor ohne A-priori-Information .•••. 115
4.5.2.2 Mittlerer quadratischer Fehler. Para
metervektor mit bekannter A-priori-
Dichte ............................... 119
4.6 Lineare Sch~tzeinrichtungen •.•••••••.•.••••••••.••. 121
4.6.1 Gaue-Markoff-Theorem •.••..••••••.••.•.•••.••. 122
4.6.2 Geometrische Interpretation des Gaue-Markoff-
Theorems ••.•......•...•..•..•...••••.•.•...•• 126
4.6.3 Additive unkorrelierte Storungen ..••••••••.•• 129
4.6.4 Parametervektor ohne A-priori-Information .••• 131
4.6.5 Verbesserung der Schatzwerte ..••••••••••.•••• 133
4.6.6. Verbesserte Sch~tzwerte: Kalman Formeln •••••. 137
4.7 Zusammenfassung .•••.•••••.•..•..•••••..•....•.••••• 141
Aufgaben mit Losungen ..................•...••......•...•.. 143
Li teraturverzeichnis .................•..................•. 179
Namen- und Sachverzeichnis ..............•.•.•.•....•...... 181
o.
Aufgaben der statistischen Nachrichtentheorie
Als Teilgebiet der Nachrichtentechnik befa~t sich die statistische
Nachrichtentheorie mit der Obertragung und Verarbeitung informations
tragender Signale. Diese informationstragenden Signale sind notwen
digerweise nicht deterministisch, sondern entstammen Zufallsprozes
sen. W~re dies nicht der Fall, so warde man keine Nachrichten aber
tragen. Insofern ist die Nachrichtentechnik stets eine statistische
Nachrichtentechnik.
Der statist is chen Nachrichtentheorie werden hier von den verschie
denen Teilgebieten der Nachrichtenabertragung und -verarbeitung in
erster Linie zwei Aufgaben zugeordnet:
a) Detektion (Signalerkennung)
b) Estimation (Signal-, Parametersch~tzung).
In beiden F~llen wird das informationstragende, von einer Nachrichten
que lIe stammende Signal bei der Obertragung aber einen Kanal durch
StBrungen ver~ndert. Dadurch ist es nicht mehr mBglich, mit absolu
ter Sicherheit zu sagen,
a) welches Signal bzw. welche Nachricht von der Quelle aus
gesendet wurde oder
b) welchen genauen Zeitverlauf das gesendete Signal bzw.
welche genaue GrB~e der im Signal enthaltene Parameter
besitzt.
Ziel der statistischen Nachrichtentheorie ist es, die bei der Detek
tion auftretenden Fehler bzw. die bei der Estimation entstehenden Un
genauigkeiten mBglichst klein zu machen.
Zur LBsung dieser beiden Aufgaben werden Systeme entworfen, die hier
Empf~nger genannt werden, weil sie die gestBrte Version des von der
Nachrichtenquelle stammenden Signals empfangen und daraus das bei
der Detektion bzw. Estimation gewanschte Signal gewinnen.
Zum Entwurf des Empf~ngers benBtigt man Optimalit~tskriterien sowie
Kenntnisse aber die vorhandenen Signal- und StBrprozesse. Je mehr
man von diesen Prozessen wei~, die mit Hilfe statistischer Parameter
beschrieben werden, desto einfacher ist die zu lBsende Aufgabe und
desto besser kBnnen die Optimalit~tskriterien erfallt werden.
- 2 -
0.1 Detektion
In einem Nachrichtenubertragungssystem, z. B. einem Kontrollsystem
zur Obertragung von Fehlerursachen eines chemischen Prozesses, tre
ten meist an verschiedenen Stellen Starungen auf. Dadurch wird das
jeweils gesendete Signal verfalscht, und man kann nicht mehr mit Si
cherheit sagen, welches Signal im gestorten Empfangssignal enthal
ten ist. Die Aufgabe, das Signal im gestarten Empfangssignal zu ent
decken, bezeichnet man als Detektion.
Zur Veranschaulichung sei der Sonderfall der binaren Detektion heraus
gegriffen und mit Hilfe von Bild 0.1 naher betrachtet. Die Nachrich
tenquelle liefert dabei zwei Nachrichten, die man in der statisti
schen Beschreibungsweise als zwei Ereignisse ansehen kann. Bei dem
Kontrollsystem des chemischen Prozesses sind diese Ereignisse z. B.
die Falle "Reaktionstemperatur innerhalb des vorgegebenen Toleranz
bereiches" bzw. "Reaktionstemperatur auBerhalb dieses Bereiches".
Bei einem Radarsystem sind diese Ereignisse z. B. "Objekt im betrach
teten Entfernungsbereich vorhanden" bzw. "Objekt in dies em Bereich
nicht vorhanden". In Bild 0.1 sind diese Ereignisse symbolisch durch
o und 1 gekennzeichnet. Diesen Ereignissen entsprechend sendet der
nachfolgende Sender die Signale soCt) oder slCt). Nun wird angenom
men, daB alle Storquellen zusammengefaBt werden konnen, so daB zu
dem vom Sender stammenden Signal eine Starung nCt) im Kanal hinzu
addiert wird.
n (t)
Er~ignis Signal
..
-
OueUe Sender Kanal
o ,
1 5 I (t) r( t)
Bild 0.1 Nachrichtenubertragungssystem (Detektion)
Das dem Empfanger zur Verfugung stehende gestorte Signal ret) kann
man deshalb in der Form
ret) = s. (t) + net) i=O,l ( 01.1)
1
