Table Of ContentHochschultext
Kristian Kroschel
Statistische
Nach richtentheorie
ErsterTeil
Signalerkennung und Parameterschatzung
2. Auflage
Mit 68 Abbildungen
Springer-Verlag
Berlin Heidelberg NewY ork
London Paris Tokyo 1986
Dr.-Ing. Kristian Kroschel
Professor, Institut fUr Nachrichtensysteme
Universitat Karlsruhe
ISBN-13: 978-3-540-17153-9 e-ISBN-13:978-3-642-82935-2
001: 10.1007/978-3-642-82935-2
CI P-Kurztitelaufnahme der Deutschen Bibliothek
Kroschel. Kristian: Statistische Nachrichtentheoriel
Kristian Kroschel. - Berlin; Heidelberg; New York:
Springer. Teil1: Signalerkennung und Parameterschatzung.-
2. Aufl. -1986.
ISBN-13: 978-3-540-17153-9
Das Werk ist urheberrechtlich geschUtzt. Die dadurch begrundeten Rechte, insbesondere die
der Ubersetzung, des Nachdrucks, der Entnahme von Abbildungen, der Funksendung, der
Wiedergabe auf photomechanischem oder ahnlichem Wege und der Speicherung in Daten
verarbeitungsanlagen bleiben, auch bei nur auszugsweiserVerwertung, vorbehalten. Die Ver
gutungsanspruche des § 54, Abs. 2 UrhG werden durch die »Verwertungsgesellschaft Wort«,
Munchen, wahrgenommen.
© Springer-Verlag Berlin Heidelberg 1986
Die Wiedergabe von Gebrauchsnamen, Handelsnamen,Warenbezeichnungen usw. in diesem
Buche berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, daB solche
Namen im Sinne derWarenzeichen-und Markenschutz-Gesetzgebung als frei zu betrachten
waren und daher von jedermann benutzt werden durften.
2160/3020-543210
VOnNort
An deutschen Universitaten und Hochschulen ist die statistische
Nachrichtentheorie im Gegensatz zum recht umfangreichen Lehrange
bot auf diesem Gebiet in den USA nur wenig vertreten. Deshalb
findet man im deutschen Sprachraum auch nur wenige einftihrende
Bticher, die sich hauptsachlich mit Teilaspekten dieses Themas
befassen [z.B. 1; 2; 3; 4; 5; 6]. Zusammenfassende Darstellungen
dieses Gebietes in der Art amerikanischer Textbticher [z.B. 7; 8;
9; 10; 11] sind bisher in der deutschsprachigen Literatur nicht
bekannt.
Begrtindet wird diese Tatsache dadurch, dap die neueren Entwick
lungen bei der Nachrichtentibertragung und in der Regelungstech
nik, die Kenntnisse auf dem Gebiet der statistischen Nachrichten
theorie erfordern, durch die Raumfahrt veranlapt wurden, die eine
Domane der USA ist. In zunehmendem Mape finden Erkenntnisse der
statistischen Nachrichtentheorie nun auch in anderen Bereichen
Anwendung, z.B. bei der Datentibertragung tiber gestorte Kanale und
der Regelung komplexer Prozesse. Moglich wird dies durch die
immer preiswerter werdenden Bauelemente der digitalen Signalver
arbeitung, z.B. der Signalprozessoren, die eine Voraussetzung zur
Realisierung der relativ komplizierten Algorithmen der stati
stischen Nachricntentheorie sind.
Das vorliegende Buch stellt eine Einftihrung in die statistische
Nachrichtentheorie dar, ohne den Anspruch auf Vollstandigkeit
oder Abgeschlossenheit zu erheben und die neuesten wissenschaft
lichen Erkenntnisse auf diesem Gebiet wiederzugeben. Es wurde
4
z.B. nicht auf die Codierungstheorie im Zusammenhang mit optima
ler Detektion von Signalen [z.B. 3; 7] oder auf die sequentielle
Detektion [z.B. 11; 12] eingegangen.
Das in diesem Buch zusammengefapte Material entstammt Vorlesungen
in Karlsruhe und Bamburg sowie Vortrigen in der Industrie und an
Einrichtungen zur Weiterbildung i. Ingenieurbereich. Inhaltlich
wendet es sich an Studenten in hoheren Semestern der Fachrichtun
gen Nachrichtentechnik, Regelungstechnik und Informatik sowie an
Ingenieure, die auf Grund ihres Arbeitsgebietes einen einfuhren
den Einblick in die statistische Nachrichtentheorie gewinnen
wollen. Fur weitergehende Betrachtungen auf diesem Gebiet und
speziellere Anwendungen z.B. bei der Radartechnik sei auf die
entsprechende Literatur [z.B. 9i 30i 31i 32] verwiesen.
Vorausgesetzt wird zur Lekture des Buches die Kenntnis von Grund
begriffen der System- und Netzwerktheorie [z.B. 13J sowie der
elementaren Wahrscheinlichkeitsrechnung [z.B. 14; 15i 28J, deren
wesentliche, hier benotigten Ergebnisse im 1. Kapitel des Buches
wiederholt werden.
1m 2. Kapitel wird eine fur die weiteren Betrachtungen geeignete
Signaldarstellung gewonnen, die auf die Definition des sogenann
ten Vektorkanals fuhrt.
Die einfache und multiple Detektion mit ihren verschiedenen An
sit zen fur das Optimalititskriteriu. werden im 3. Kapitel behan
delt. Davon ausgehend werden im 4. Kapitel die Prinzipien der
Parameterschitzung oder Estimation hergeleitet. Eine besondere
Rolle spielen dabei die linearen Schitzsysteme, die das Optimum
aller moglichen Systeme bei Gaupschen Storungen darstellen und
deren Beschreibung durch das Gaup-Markoff-Theorem erfolgt. Hier
wird auch die sequentielle Parameterschitzung betrachtet, die den
tlbergang zur Signalschitzung markiert.
In einem zweiten Buch [16] in der Hochschultext-Reihe des Sprin
ger-Verlages wird das Thema der Signalschitzung mit Hilfe von
Wiener- und Kalman-Filtern behandelt.
Bei der Darstellung des Stoffes wurden viele Tabellen und Zusam-
5
menfassungen verwendet, um i. FaIle der Anwendung schnell uber
die Ergebnisse der Detektions- und Estimationstheorie verfugen zu
k6nnen. Anwendungsbeispiele vor allem aus der Datenubertragung
veranschaulichen eine spezielle Anwendung dieser Theorie.
Gegenuber der 1. Aufla,e dieses Buches wurde bei der vorlie,enden
2. Aufla,e die Nomenklatur weit,ehend an die Empfehlun,en nach
DIN 13 303 angepapt, soweit das im Einklan, mit vertrauten Be
zeichnun,sweisen in der Nachrichtentechnik mo,lich war. Neu sind
auch die Anwendungsbeispiele aus der Datenubertra,un,. Grundlich
uberarbeitet und neu zusammen,estellt wurde das 5. Kapitel uber
Parameterestimation.
An dieser Stelle mochte ich all denen danken, die zum Entstehen
dieses Buches durch Diskussionen und Hinweise bei,etra,en haben
und mich bei der technischen Erstellun, unterstutzten. Dazu ,eho
ren Frau Gerlinde Daum und Herr cando el. Kai Lauterjun" die den
Text in ein Textverarbeitun,ssystem ein,aben, und Frau Si,rid
KUhn, die die Bilder zeichnete. Herrn Dipl.-In,. Hans-Eckhard
Muller danke ich fUr die Durchsicht des Textes und ,anz besonders
meiner Frau dafUr, mir die vielen Stunden, die ich bei der Neu
fassun, des Buches statt im Kreise Meiner Familie verbrachte,
nicht vorzurechnen. Dem Verla, ,ilt mein Dank fUr die schnelle
Ferti,stellung der 2. Auflage.
Karlsruhe, im Au,ust 1986 Kristian Kroschel
Inhaltsverzeichnis
1. Auf,aben der atatiatiachen Nachrichtentheorie ...•...•.••... 9
1.1 Detekt ion ••.....•.....••......•....••.•....••••••.••.. 10
1.2 Estillation .•.....•..•••.•••••...•.•••...........•..•.• 14
1.3 Entwurfsansiitze ••...........••.....•••.•....••.•..•... 18
2. Grundbe,riffe der atatiatiachen Syateatheorie .•••••••••.•• 20
2.1 Be,riffe der Statistik ••.•......••.•.....•...•....•.•• 21
2.2 Transformationen von Zufallsvariab1en und Prozessen ... 27
3. Si,naldaratellun, durch Vektoren •.••••.•...••....•.••...•. 35
3.1 Darstellun, von Prozessen durch Vektoren •......•..•.•. 36
3.2 Vektordarste11un, von M Si,na1en ......•••.•••••••..•.. 40
3.2.1 Grall-Schllidt-Verfahren .•....•.••.•••••.•........ 43
3.3 Irre1evante Information ••.....•••.•...•••.•••...••.... 45
3.4 Vektorkaniile ...•••...•.......•.•.•••••....••••••••...• 48
3.5 Zusallllenfassun, •...•.•.•••.••....•..............•••••• 49
4. Si,nalerkennun, (Detektion) .•.....••••••••.•...•••.•...••• 51
4.1 Biniire Detektion .•...••.•........•••..••••••.••••••••• 51
4.1.1 Bayes-Kriterium •..•••••.••••••....•••.....•••.•• 52
4.1.2 Maxillull-a-posteriori-Kriteriull (MAP) ...••••••••• 56
4.1.3 Neyaan-Pearson-Kriteriull .•..••••••••..•..•.••••• 58
4.1.4 Empfiin,erarbeitscharakteristik (ROC) ...•..•..... 62
4.2 Mu1 t ip1e Detekt ion .••..•••.••.••••.•••••••.•..•.....•• 65
4.2.1 MAP-Prinzip fur lIultiple Detektion ...•..•..••..• 66
7
4.2.2 Entscheidungsregel bei Gaupprozessen ..••..•..••• 68
4.2.3 Wahl der Signalvektoren ..•••.......•..•••.•....• 71
4.2.3.1 Signalvektorkonfiguration mit rechtwink
ligen Entscheidungsraumen .••••....•....• 74
4.2.3.2 Orthogonale und damit verwandte
Signalvektorkonfigurationen •.....•.....• 79
4.2.4 Abschatzung der Fehlerwahrscheinlichkeit ••...••• 85
4.2.5 Vergleich der Signalvektorkonfiguration .....••.• 89
4.3 Realisierung der Empfanger fur die Detektion .......... 93
4.4 Anwendung von Detektionsprinzipien bei der
Datenubertragung .••...•••.•.....••.....••••...•••....• 101
4.4.1 Vergleich von digitalen Modulationsverfahren .••. 101
4.4.2 Daten-Modem zur Ubertragung von Datenblocken .•.. 106
4.4.2.1 Berechnung der Fehlerwahrscheinlich-
keit P(F) •...•....••........•.••...••... III
4.5 Zusammenfassung ••••.••..••....•••••...........•••..•. 117
6. Para.eterschKtzun, (Esti.ation) ••.•.•••.....••.••...•••.. 120
5.1 Schatzung von Parametern mit bekannter Dichtefunktion
(Bayes-Kriterium) ....••........•.........••..••..•.•. 126
5.1.1 Kostenfunktion des quadratischen Fehlers ••..... 129
5.1.2 Kostenfunktion des absoluten Fehlers ...•••..... 132
5.1.3 Kostenfunktion mit konstanter Bewertung groper
Fehler ••••........•...•.•.....•••.....•.....••. 133
5.1.4 Invarianz des optimalen Schatzwertes bezuglich
einer Klasse von Kostenfunktionen ...•.•....••.. 136
5.2 Schatzung von Parametern ohne jede A-priori-Infor-
mation (Maximum-Likelihood-Schatzung) .•.••••..••.•.•. 138
5.3 Der minimale mittlere quadratische Schatzfehler ..•... 142
5.3.1 Minimale Fehlervarianz bei unbekannter
A-priori-Dichte •.•.••.....•••....••...•••...... 142
5.3.2 Minimaler mittlerer quadratischer Fehler bei
bekannter A-priori-Dichte ..•..•••...........•.• 148
5.4 Multiple Parameterestimation ••........•.••••......•.. 152
5.4.1 Schatzverfahren ..••..•.•.........•••••....•..•. 152
5.4.1.1 Parametervektor mit bekannter A-priori-
Dichte .•.•.......•.•....•..•.....•...•. 153
8
5.4.1.2 Parametervektor ohne A-priori-Infor-
mation ................................. 155
5.4.2 Schiitzfehler ....•.............................. 155
5.4.2.1 Minimale Fehlervarianz. Parameter-
vektor ohne A-pr~ori-Information ....... 156
5.4.2.2 Mittlerer quadratischer Fehler. Parame
tervektor mit bekannter A-priori-Dichte 161
5.5 Lineare Schiitzeinrichtungen ........•................. 163
5.5.1 Gau~-Markoff-Theorem ........................... 164
5.5.2 Geometrische Interpretation des Gau~-Markoff-
Theorems ....................................... 168
5.5.3 Additive unkorrelierte Storungen ............... 172
5.5.4 Parametervektor ohne A-priori-Information ...... 175
5.5.5 Verbesserung der Schiitzwerte .............•..... 177
5.5.6 Verbesserte Schiitzwerte: Kalman Formel ......... 181
5.6 Anwendung der Parameterschiitzung bei der
Datentibertragung ..................................... 185
5.6.1 Automatische Verstiirkungsregelung (AGe) ........ 186
5.6.2 Entzerrung von linearen Vbertragungskaniilen .... 190
5.6.2.1 Impulsantwort des Entzerrers ........... 192
5.6.2.2 Schiitzung der Kanalparameter ........... 194
5.7 Zusammenfassung ...................................... 197
Aufgaben .................................................... 201
Literaturverzeichnis ........................................ 214
Namen- und Sachverzeichnis .................................. 217
1. Aufgaben der statistischen Nachrichtentheorie
Als Teilgebiet der Nachrichtentechnik befapt sich die statisti
sche Nachrichtentheorie mit der Obertragung und Verarbeitung
informationstragender Signale. Diese informationstragenden Sig
nale sind notwendigerweise nicht deterministisch, sondern ent
stammen Zufallsprozessen. Ware dies nicht der Fall, so wtirde man
keine Nachrichten tibertragen. Insofern ist die Nachrichtentechnik
immer eine statistische Nachrichtentechnik.
Der statistischen Nachrichtentheorie werden in diesem Buch von
den verschiedenen Teilgebieten der Nachrichtentibertragung und
Signalverarbeitung in erster Linie zwei Aufgaben zugeordnet:
a) DetektioD (Signalerkennung)
b) Bati.ation (Signal-, Parameterschatzung).
In beiden Fallen wird das informationstragende, von einer Nach
richtenquelle stammende Signal bei der Obertragung tiber einen
Kanal durch Storungen verandert. Dadurch ist es nicht mehr mog
lich, mit absoluter Sicherheit zu sagen,
a) welches Signal bzw. welche Nachricht von der Quelle aus
gesendet wurde oder
b) welchen genauen Zeitverlauf das gesendete Signal bzw. wel
che genaue Grope der im Signal enthaltene Parameter be
sitzt.
Ziel der statistischen Nachrichtentheorie ist es, die bei der
Detektion auftretenden Fehler bzw. die bei der Estimation ent-
