Table Of ContentStochastische Signale
Eine Einführung in Modelle,
Systemtheorie und Statistik
Von Dr.-lng. Johann F. Böhme
o. Professor an der Ruhr-Universität Bochum
Mit 29 Bildern
EJ3
Springer Fachmedien Wiesbaden GmbH 1993
Prof. Or.-Ing. Johann F. Bohme
Geboren 1940 in Senftenberg/Niederlausifz. Nach dem Abitur
Maurerlehre sowie bis 1966 Mathematikstudium in Oresden und
Hannover. 1970 Promotion in Erlangen. Ais Forschungsgruppenleiter
tătig bei Krupp Atlas-Elektronik, Bremen, und spăter an der Univer
sităt Bonn. Ebendort 1977 Habilitation in Informatik. 1978 bis 1980
wiss. Angestellter im Forschungsinstitut fOr Hochfrequenzphysik der
FGAN, Wachtberg-Werthhoven. 1979 Lehrstuhlvertretung "Ingenieur
Statistik", Abteilung Statistik, Universităt Oortmund. Seit 1980 o.
Professor fOr Elektrotechnik, Lehrstuhl fOr Signaltheorie, Ruhr-Uni
versităt Bochum. 1983 Oekan der Fakultăt fOr Elektrotechnik. 1990
Ernennung zum IEEE Fellow.
Die Deutsche Bibliothek - CIP-Einheitsaufnahme
Bohme, Johann Friedrich:
Stochastische Signale : ei ne Einfiihrung in Modelle,
S~temtheorie und Statistik / von Johann F. Bohme.
(Teubner-Studienbiicher : Elektrotechnik)
ISBN 978-3-519-06160-1 ISBN 978-3-663-12472-6 (eBook)
DOI 10.1007/978-3-663-12472-6
Das Werk einschlieBlich aller seiner Teile ist urheberrechtlich geschiitzt. Jede
Verwendung auBerhalb der engen Grenzen des Urheberrechtsgesetzes ist
ohne Zustimmung des Verlages unzulâssig und strafbar. Das gilt besonders
fiir Vervielfâltigungen, Obersetzungen, Mikroverfilmungen und die Einspeiche
rung und Verarbeitung in elektronischen Systemen.
© Springer Fachmedien V\IIesbaden 1993
Ursprunglich erschienen bei B.G. Teubner Stuttgart 1993
Umschlaggestaltung: P.P.K,S-Konzepte Tabea Koch, Ostfildern/Stuttgart
Vorwort
Meine Entscheidung, einen vorlesungsbegleitenden, ausführlicheren Text zum Thema.
"Stochastische Signale" zu schreiben, gründet a.uf Erfahrungen a.us Vorlesungen über
Signaltheorie und stochastische Prozesse, die ich seit 1980 an der Ruhr-Universität Bo
chum für Studenten der Fachrichtung Elektrotechnik im Hauptstudium halte. Dabei
möchte ich folgendes erreichen: Die wichtigsten Grundlagen der Stochastik sollen den
Studierenden einer einführenden Pflichtvorlesung so vermittelt werden, da.ß das Ver
halten einfacher Schaltungen und Systeme, in denen Rauschsignale gemessen werden,
korrekt berechnet und die Signale a.uch ausgewertet werden können. Denen, die ihr Stu
dium in der Theorie stochastischer Signale und ihrer Anwendung vertiefen möchten,
liefert das nun vorliegende Buch neben weiteren stochastischen Werkzeugen zum Mo
dellieren und statistischen Schließen ausführlich behandelte Beispiele, die gründlichere
Studien wie der Signalerkennung, der Spektralanalyse und Systemidentifikation moti
vieren. Anhänge über Ma.trixalgebra., schnelle Algorithmen und Tabellen, sowie eine
größere Zahl von Übungsaufgaben mit Lösungsskizzen erleichtern das Selbststudium
und die Anwendung in der Praxis.
Die inhaltlichen Schwerpunkte und die Stoffauswahl sind zu einem guten Teil durch
den Bochumer Studienplan beeinflußt. Die einführende Pflichtvorlesung findet im fünf
ten Semester statt und setzt wie das vorliegende Buch Kenntnisse a.us einem erfolgreich
absolvierten Grundstudium der Elektrotechnik und insbesondere über deterministische
Signale und Systeme voraus. Der zu behandelnde Stoff wurde jedoch so aufbereitet, da.ß
ein paralleles Studium der Grundlagen nachrichtentechnischer Systeme möglich ist. Sy
stemtheoretische Begriffe werden im Kurs über stochastische Signale erst benutzt, wenn
sie im anderen im Zusammenhang mit deterministischen Signalen schon aufgearbeitet
worden sind. Dies gelingt, wenn wegen mangelnder Vorkenntnisse zunächst Begriffe
der Wahrscheinlichkeitstheorie, statistische Schlußweisen und stochastische Prozesse in
angemessener Weise zu untersuchen sind, bevor man Systemtheorie und Statistik mit
stochastischen Signalen betreiben kann. Beispielsweise ha.t sich folgende Stoffauswahl
für die zweistündige Pflichtvorlesung mit einstündiger Übung im Wintersemester mit
der Numerierung a.us dem Inhaltsverzeichnis bewährt: Ka.p. 1, a.us Ka.p. 2: 2.1, 2.2.1
1) bis 2), 2.2.2 1) und a.us Ka.p. 3: 3.1, 3.2, 3.3.1, 3.3.2 1), 3.3.3 1) bis 3). Das verblei
bende Material des Buches kann in den ersten Kapiteln von Vertiefungsvorlesungen,
wie sie weiter oben angedeutet worden sind, behandelt werden.
Trotz möglicher Unzulänglichkeiten einer ersten Auflage hoffe ich, da.ß dieses Buch
mit seinen in der Elektrotechnik zum Teil unüblichen Ansätzen Interesse bei Studie
renden und vielleicht a.uch Fachleuten oder Kollegen finden wird.
IV Vorwort
Die endgültige Form des Manuskripts wäre ohne die Unterstützung der Mitarbeiter
des Lehrstuhls für Signaltheorie kaum möglich gewesen. Namentlich möchte ich den
Damen D. Achenbach und C. Eichelmann sowie den Herren G. Hermanns, D. König, D.
Kraus, D. Maiwald, D. Sidorowitsch, U. Wolffund B. Yang, die beim Durchrechnen von
Beispielen und Übungsaufgaben, Erzeugen von Grafiken und Tabellen mittels MAT
LAB oder MATHEMATICA, Korrigieren und Schreiben mit LATEX halfen, herzlich
danken. Die Herren W. Mecklenbräuker, Wien und U. Nickel, Wachtberg-Werthhoven
lasen das Manuskript kritisch; ihnen verdanke ich zahlreiche Verbesserungsvorschläge.
Auch die konstruktive Zusammenarbeit mit Herrn Schiernbach vom Teubner Verlag sei
lobend erwähnt. Schließlich möchte ich mich besonders bei meiner Familie bedanken,
die sich während der Arbeiten am Manuskript in Geduld üben mußte.
Johann F. Böhme
Bochum, im Oktober 1992
Inhaltsverzeichnis
1 Einleitung 1
2 Einführung in die Stochastik 5
2.1 Begriffe der Wahrscheinlichkeitstheorie ......... . 5
2.1.1 Wahrscheinlichkeiten und Zufallsvariable .... . 5
1) Zufallsexperimente und relative Häufigkeiten 5
2) Axiomatische Vergehensweise ........ . 8
3) Allgemeine Definition von Wahrscheinlichkeiten 9
4) Koppelung und bedingte Wahrscheinlichkeiten. 11
5) Zufallsvariable und Verteilungsfunktionen 15
6) Wahrscheinlichkeitsmaß auf R und Dichten 16
7) Wahrscheinlichkeiten auf Rn und Zufallsvektoren 22
8) Funktionen von Zufallsvariablen . 28
2.1.2 Erwartungswerte .......... . 33
1) Erwartungswert einer Zufallsvariablen 33
2) Erwartungswert einer Funktion von Zufallsvariablen 36
3) Charakteristische Funktionen . . . . . . 43
4) Approximation im quadratischen Mittel 47
2.1.3 Folgen von Zufallsvariablen 51
2.2 Statistische Schlußweisen . . . . . . 54
2.2.1 Parameterschätzen . . . . . 54
1) Schätzen von Parametern und Schätzer . 54
2) Schätzen mit kleinsten Quadraten 58
3) Konfidenzbereiche . . . . . . . . . 66
4) Cramer-Rao-Schranke und Maximum-Likelihood-Schätzer 68
2.2.2 Hypothesentesten . . . . . . . . 77
1) Tests und Signalentdeckung 77
2) Testen mit kleinsten Quadraten . 81
3) Maximum-Likelihood-Quotiententest 85
3 Modelle für gemessene Signale: Stochastische Signale 91
3.1 Stochastische Prozesse ............... . 91
3.1.1 Grundbegriffe und elementare Eigenschaften 91
3.1.2 Stationäre Prozesse ............. . 97
VI Inhaltsverzeichnis
3.2 Systemtheorie mit stochastischen Signalen . . . . • . 103
3.2.1 Grenzübergänge mit stochastischen Prozessen 103
3.2.2 Nichtreaktive Systeme . . . 106
3.2.3 Lineare konstante Systeme . . 109
3.2.4 Abtasttheorem . . . . . . . . 118
3.2.5 Optimalfilter und Prädiktoren . . 120
3.2.6 Endliche Fourier-Transformierte . . . . . . . . . . . . 123
3.3 Statistik mit stochastischen Signalen . . . . . . . . . . . . . 126
3.3.1 Schätzung der Kovarianzfunktion eines Rauschsignals 126
3.3.2 Schätzung von Modellparametern 131
1) Autoregressive Prozesse . . . 131
2) Moving-Average-Prozesse .. 136
3) Modelle mit beoba.chtbarem Eingangssignal 140
3.3.3 Schätzung der Spektren von Rauschsignalen 145
1) Verwendung von Bandpässen ..... . 145
2) Verwendung von Periodogra.mmen . . . . . . . . . 148
3) Schätzung von Kreuzspektren und Übertragungsfunktionen 154
4) Erkennung deterministischer Signale in Rauschsignalen . . . 162
A Anhang 169
A.1 Vektor-und Matrixalgebra. 169
A.2 Schnelle Algorithmen . . . . 176
A.2.1 Schnelle Fourier-Transformation .... 176
A.2.2 Levinson-Durbin-Rekursion . 179
A.3 Tabellen ............. . 182
A.3.1 Standardnormalverteilung 182
x
A.3.2 2-Verteilung 183
A.3.3 F-Verteilung 184
Übungsaufgaben 187
Lösungshinweise 208
Literatur 230
Stichwortverzeichnis 232
1 Einleitung
Gemessene Ausgaben eines physikalischen Systems, die in Abhängigkeit von der Zeit
registriert werden, zeigen häufig einen gewissen, nicht vorhersagbaren oder zufälligen
Verlauf. Gemeint sind hier Spannungen, Temperaturen, Drücke und ähnliche Größen.
Mit Kenntnissen über die Vorgänge im Innern des Systems oder über sein Verhalten
und mit Methoden der Wahrscheinlichkeitstheorie ist es möglich, zweckmäßige Modelle
für solche gemessenen Signale aufzubauen, die stochastische Prozesse heißen und die
wir auch stochastische Signale nennen wollen (vom griechischen "o uroxou", etwa
"das Vermutete", abgeleitet). Aus den über einen Zeitraum hinweg registrierten Si
gnalen möchte man zum Beispiel Aussagen über die Vorgänge gewinnen, die sich in
dem beobachteten System abspielen, oder einen zukünftigen Wert des Ausgabesignales
bestimmen. Die Statistik kann in vielen Fällen Hilfsmittel liefern, geeignete Verfahren
zu entwerfen und die Leistungsfähigkeit dieser Verfahren vorherzusagen.
Ziel dieses kleinen Buches ist es, einige Grundbegriffe über stochastische Prozesse
als Modelle für gemessene Signale und insbesondere über Rauschsignale, wie sie bei
spielsweise in der Nachrichten-, Meß- und Regelungstechnik beobachtet werden, vor
zustellen und in einige statistische Methoden der Signalverarbeitung einzuführen. Die
Begriffsbildungen werden wie in der Statistik vorgenommen und für die Anwendungen
in der Elektrotechnik interpretiert. Dies ist zweckmäßig, da im Schrifttum der Elek
trotechnik eine sehr uneinheitliche Nomenklatur benutzt wird, wenn es um die hier
interessierenden Probleme geht.
In einer einführenden Darstellung können nur exemplarisch einige Probleme aus
der Praxis in vereinfachter Form behandelt werden. Im folgenden soll die Art dieser
Probleme etwas verdeutlicht werden. Dazu betrachten wir zunächst Abb.l.l. Das Sy-
x(t)
•
········.. •"
I
x(nß), 0 :5 n :5 N
------~~.T·~·-·------~··~.------~.·~··-·--r,----------••
0 ... •• ••
•. .... • T=Nß
Abbildung 1.1: Ausgabesignal eines Systems. Im Zeitintervall 0 :5 t :5 T beobachtetes
und analog bzw. abgetastet registriertes Meßsignal
stem möge durch ein elektrisches Netzwerk beschrieben sein. Die an einem bestimmten
1 Einleitung
Punkt des Netzwerkes meßbare Spannung in Abhängigkeit von der Zeit sei das Ausga
besignal x(t) des Systems. Dieses werde in einem Zeitintervall wie 0 ~ t ~ T beobachtet
und gemessen. Wir können den Verlauf des Signals zum Beispiel mit einem Magnet
band analog aufzeichnen oder das Signal erst mit der Periode ~ abtasten und dann die
=
Abtastwerte x(n ~) ( n 0, 1, ... , N) registrieren. Wir nehmen an dieser Stelle an, daß
der Signalverlauf im Beobachtungsintervall durch die Abtastwerte hinreichend genau
beschrieben wird. Die Aufgabe sei nun, ein zweites System (analoge Schaltung bzw.
digitale Schaltung oder Algorithmus, wenn die Abtastwerte noch digitalisiert werden)
zu entwerfen, das den zukünftigen Wert x(T + T) (T > 0) des Ausgabesignals allein aus
dem registrierten Signal (kurz, der Beobachtung) bestimmt. Hierzu werden Kenntnisse
über das erste System benötigt, um das Ausgabesignal x(t) als Zeitfunktion beschrei
ben zu können. Hat man zum Beispiel herausgefunden, daß x(t) ein Polynom in t
höchstens vom Grad M ist, so kann man x(T + T) durch Extrapolation beschreiben.
Wenn man einmal vom Problem der Realisierung des Systems absieht, ist x(t) für alle
t durch die Beobachtung determiniert. Deterministische Signale dieser Art sind keine
angemessenen Modelle für Signale, wenn Effekte wie thermisches Rauschen in einer
Schaltung mitberücksichtigt werden. Solche Signalanteile zeigen einen eher zufälligen
Verlauf, und zukünftige Werte können nicht ohne einem Fehler vorhergesagt werden.
Hat man die Möglichkeit, das Experiment unter gleichen Betriebsbedingungen zu wie
derholen, oder stehen mehrere baugleiche Systeme zur Verfügung, die unter gleichen
Betriebsbedingnngen unabhängig voneinander arbeiten, so wird man im allgemeinen
unterschiedliche Verläufe der Ausgabesignale messen können, die durch Zufälle wie
beim thermischen Rauschen verursacht werden. Jedoch haben die Ausgangssignale
auch Gemeinsamkeiten, die indirekt durch die gleichen Baugruppen und Betriebsbe
dingungen bestimmt sind. Statt ein einzelnes Ausgabesignal vollständig kennzeichnen
zu wollen, werden wir Modelle für die Klasse der möglichen Ausgabesignale untersu
chen, in die dann die Baugruppeneigenschaften etc. eingehen können. Diese Modelle
sind stochastische Prozesse und erlauben im Prinzip die Konstruktion ;von Systemen
im Sinne der obigen Aufgabe, um also einen zukünftigen Wert des Ausgabesignals mit
einem geeignet definierten kleinen Fehler vorherzusagen. Ein solches System wird auch
ein Prädiktor genannt.
Wir werden unsere Untersuchungen auf eine Klasse von Signalen beschränken, die
man sich als Summezweier Anteile vorstellen kann, eines deterministischen Anteils (d e
terministisches Signal, Trend oder Offset) und eines stationären stochastischen Anteils
(Rauschen, Störung oder Meßfehler), der keinen Gleichspannungsanteil oder ähnliches
mehr enthält. Stationär bedeutet anschaulich, daß sich die Eigenschaften des den sto
chastischen Anteil erzeugenden Systems nicht mit der Zeit ändern, und alle Vorgänge
eingeschwungen sind. Als Beispiel denken wir an ein Übertragungssystem mit einem
Empfänger, der als Spannung ein Signal der folgenden Art ausgibt:
x(t) = a sinw t + v(t). (1-1)
0
Der deterministische Anteil ist das gewünschte Signal a sin Wot, dessen Amplitude a ?: 0
nicht bekannt ist. Wenn a = 0 ist, wird davon ausgegangen, daß kein Signal übertragen
worden ist, das Empfangssignal also nur Empfängerrauschen ist. Das Empfängerrau
schen sei v(t), das wie ein stationärer stochastischer Anteil behandelt wird und von
1 Einleitung 3
dem weder der Verlauf noch der Effektivwert bekannt sind. Das Problem bestehe nun
darin, ein System zu entwerfen, das anhand einer Beobachtung wie in Abb.1.2 zunächst
Abbildung 1.2: Empfangssignal als Überlagerung eines Sinussignals und Rauschens be
obachtet in 0 ::5 t ::5 T
=
entscheidet, ob a 0 anzunehmen ist, d.h. kein Signal übertragen worden ist, oder
nicht. Im zweiten Fall ist ein Signal entdeckt (detektiert) worden, und es interessiere
der Wert von a als auch der Effektivwert des Rauschens, um weitere Schlüsse ziehen
zu können. Das System soll diese Werte möglichst gut bestimmen. Aus der Sicht
der Statistik ist die Entscheidungsaufgabe ein Hypothesentestproblem und die zweite
Aufgabe ein Parameterschätzproblem.
Als nächstes wollen wir den Inhalt des Buches beschreiben. Im Kapitel 2 sollen
die Grundlagen aus der Stochastik bereitgestellt werden. Unter Stochastik versteht
man die mathematische Behandlung von Zufallsexperimenten. Hierzu müssen zunächst
eine Reihe von Begriffen aus der Wahrscheinlichkeitstheorie erklärt werden, insbeson
dere Wahrscheinlichkeiten, Zufallsvariable und Erwartungswerte. So gelingt es, das
Verhalten von zufälligen Größen sowie der sie bestimmenden Zufallsmechanismen zu
beschreiben. Im Anschluß daran werden wir uns mit einigen statistischen Schlußweisen
vertraut machen, nämlich mit Parameterschätzverfahren, der Bestimmung von Konfi
denzintervallen von Parametern und dem Testen von Hypothesen. Dies wird an eini
gen Anwendungsbeispielen erläutert. Das Kapitel 2 soll nur die in späteren Kapiteln
benötigten Begriffe vorstellen und kann nicht einen Kurs über die Prinzipien der Sto
chastik ersetzen, der jedem Leser empfohlen wird. Das dritte Kapitel behandelt die
Modelle für gemessene Signale. Dazu werden zunächst stochastische Prozesse definiert
und ihre Eigenschaften wie Kovarianzfunktion und Spektrum untersucht. Die soge
nannte Konvergenz im quadratischen Mittel von Folgen von Zufallsvariablen erlaubt
es, auf einfache Art die Grenzübergänge bei der Integration stochastischer Prozesse
zu behandeln. Damit sind wir in der Lage, eine Systemtheorie für stochastische Si
gnale zu betreiben und aus den Eigenschaften eines stochastischen Prozesses, der die
Eingabesignale eines Systems modelliert, und denjenigen des Systems Eigenschaften
des Prozesses zu berechnen, der die Ausgabesignale charaktetisiert. Beispiele sind li
neare Systeme, Abtastsysteme und Gleichrichter. Jetzt können wir auch Prädiktaren
untersuchen. Der letzte Abschnitt ist der Analyse beobachteter, abgetasteter Signale
