Informations- und Codierungstheorie: Mathematische Grundlagen der Daten-Kompression und -Sicherung in diskreten Kommunikationssystemen

404 Pages·1989·28.82 MB·German

by  Prof. Dr. Werner Heise

Studienreihe Informatik
Herausgegeben von W. Brauer und G. Goos
w.
Heise P. Quattrocchi
Informations- und
Codierungstheorie
Mathematische Grundlagen der Daten
Kompression und -Sicherung in diskreten
Kommunikationssystemen
Zweite, neubearbeitete Auflage
Mit 114 Abbildungen
Springer- Verlag
Berlin Heidelberg New York
London Paris Tokyo
Prof. Dr. Werner Heise
Institut fUr Mathematik. Technische UniversiHit
Postfach 202420. 0-8000 Munchen 2
Prof. Pasquale Quattrocchi
Oipartimento di Matematica Pura ed Applicata
Universita degli Studi
Via Campi 213/B. 1-41100 Modena
ISBN-13: 978-3-540-50537-2 e-ISBN-13: 978-3-642-97143-3
DOl: 10.1007/978-3-642-97143-3
Dieses Werk ist urheberrechtlich geschiitzt. Die dadurch begriindeten Rechte, insbesondere
die der Ubersetzung, des Nachdrucks, des Vortrags, der Entnahrne von Abbildungen und
Tabellen, der Funksendung, der Mikroverfilmung oder der VervielfiHtigung auf anderen
Wegen und der Speicherung in Datenverarbeitungsanlagen, bleiben, auch bei nur auszugs
weiser Verwertung, vorbehalten. Eine Vervielfaltigung dieses Werkes oder von Teilen
dieses Werkes ist auch im Einzelfall nur in den Grenzen der gesetzlichen Bestimmungen des
Urheberrechtsgesetzes der Bundesrepublik Deutschland vom 9. September 1965 in der
Fassung vom 24. Juni 1985 zulassig. Sie ist grundsatzlich vergiitungspflichtig. Zuwiderhand
lungen unterliegen den Strafbestimmungen des Urheberrechtsgesetzes.
© Springer-Verlag Berlin Heidelberg 1983, 1989
Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in
diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahrne, daB
solche Namen im Sinne der Warenzeichen-und Markenschutz-Gesetzgebung als frei zu
betrachten waren und daher von jedermann benutzt werden diirften.
2145/3140-54321.0 - gedruckt auf saurefreiem Papier
Aus deln. Vorwort zur ersten Auflage
Ais wir dieses Buch schrieben, stellten wir uns den Leser als Studenten der
Informatik im 5. Semester vor, der sich fUr die mathematischen Grundlagen
der Informations- und Codierungstheorie interessiert. Zur Hequemlichkeit des
Lesers haben wir die benotigten Grundbegriffe aus Analysis, Wahrscheinlich
keitsrechnung und Algebra rekapituliert. Die Darstellung dieser Grundbegriffe
sollte nicht dazu verleiten, die entsprechenden Abschnitte als Lehrbuch der
Algebra oder Wahrscheinlichkeitsrechnung zu miBbrauchen: Nur fUr den Gegen
stand dieses Huches relevante Grundlagen sind dargestellt.
Zu Problemen der technischen Realisation von Kommunikationssystemen
haben wir geschwiegen. Ais Mathematiker haben wir dazu nichts zu sagen.
Das Huch konzentriert sich auf den mathematischen Aspekt der Daten
"kompression und -sicherung in diskreten Kommunikationssystemen. Das heiBt
z. H., daB in Abschnitt 9.6 die mathematischen Grundlagen der Decodierung der
BCH-Codes ausfUhrlich dargestellt werden, daB aber der Herlekamp-Massey
Algorithmus selbst nicht gebracht wird, ganz zu schweigen von der technischen
Realisation des Decodierers.
Abgesehen von wenigen Ausnahmen in sehr speziellen Passagen (z. H. in
Abschnitt 8.12) wurden die Aussagen dieses Buches bewiesen; deswegen haben
wir im Text i. a. auf Literaturhinweise und Prioritiitszuweisungen verzichtet.
Eine personliche Anmerkung fUr unseren gemeinsamen Landsmann Reinhold
Messner: Bitte verzeihen Sie uns die respektlose Hemerkung in Kapitel 10.
Seien Sie versichert, daB wir Ihre spOl-tlichen Leistungen bewundern.
Modena, im Februar 1983 W.H. P.Q.
Vorwort zur z'Weiten Auflage
Folgendes hat sich geiindert: Viele Schreibmaschinen-Tippfehler der ersten
Auflage wurden durch vornehmere Textverabeitungs-Tippfehler ersetzt. Wo
die Erfahrungen des Unterrichts es ermoglichten, wurde die Darstellung
gestrafft, gedehnt oder gegliittet. Das betrifft insbesondere die Kapitel 1, 7
und 8. Der Begriff .. systematischer Code" wird jetzt im orthodoxen Sinne
verwandt. Der Begriff .. optimaler Code·' wurde konsequent durch .. MDS-Code"
ersetzt und wird jetzt in einem umfassenderen Sinne gebraucht. Die .. Kon
volutionscodes" heiBen jetzt .. Faltungscodes". Diese Terminologieiinderungen
entspringen keiner tiefen Einsicht, sondern wurden in Anpassung an den
allgemeinen Sprachgebrauch vorgenommen. In Abschnitt 8.7 werden neben der
Var~amov-Schranke auch die Gilbert-Schranke fUr lineare Codes und die
Griesmer-Schranke bewiesen. Die Kapitel 9 und 10 wurden grUndlich revidiert.
Da ist sozusagen kein Buchstabe auf dem alten geblieben. In den AbschniUen
9.1 und 9.4 wurde das Automorphismenproblem fUr lineare und zyklische Codes
sehr viel sauberer beschrieben. In AbschniU 9.7 wird nach einem fast trivial
zu nennenden Beweis des quadratischen Reziprozitiitsgesetzes die Theorie der
Quadratische-Rest-Codes bis zur Quadratwurzelschranke unter EinschluB des
Gleason-Prange-Theorems zum erstenmal in einem Lehrbuch IUckenlos und
frei von groben Fehlern dargestellt. In Kapitel 10 wurde groBer Wert darauf
gelegt, die Begriffe .. Faltungscode" und .. Faltungscodierer" zu trennen. Soweit
zum Abschreiben fUr den Rezensenten.
In Kapitel 7 und 10 haben wir uns Uber Fehler zweier .. very important
persons" mokiert. Wer sich als Zensurenverteiler und DogmenverkUnder
betiitigt, oder wer auf junge Mathematiker am Beginn ihrer Karriere einschliigt,
soUte auch einiges einstecken konnen. Bei allen anderen Kollegen, die sich
durch irgendeine Passage oder durch die Nichterwiihnung ihrer Person in die
Wade gebissen fUhlen, entschuldigen wir uns von vornherein. So war das nicht
gemeint. 1m Zeichen von Glasnost lehnen wir Personenkult abo
Bei der liberarbeitung des Buches haben uns viele geholfen. DafUr bedanken
wir uns ganz herzlich. Zuniichst einmal sind unsere zum Teil unvergeBlich ver
geBlichen Studenten zu nennen, fUr die dieses Buch geschrieben wurde, und
deren Kritik wir sehr ernst nehmen. Dr. Michael Kaplan fand bei der Durchsicht
des Manuskripts viele Fehler. Der Diplomand Thomas Honold arbeitete fast das
gesamte Manuskript grUndlich durch und veranlaBte zahlreiche Verbesserungen
und Berichtigungen. Er entdeckte aIle lUckenhaften Argumentationen, bei denen
VIII
wir der Faulheit nachgegeben und uns .:s wird schon so sein!" gedacht hatten;
unerbittlich drang er auf Pdizisierung. Dr. sc. nat. Ludwig Staiger las das
Manuskript ebenfalls durch, kritisierte schlampige Formulierungen, beseitigte
massenweise Fehler und machte uns auf einschHigige Arbeiten sowjetischer
Codierungstheoretiker aufmerksam. Seinem fachmannischen Rat sind wir
ausnahmslos gefolgt. Die Erorterung der Code-Verkettung in Abschnitt 8.10.4
entstammt seiner Feder; da beseitigte er schwachsinnige AusfUhrungen der
ersten Auflage. Die deutschen Postverwaltungen transportierten das Papier
kilogrammweise zuverlassig und verlustfrei von MUnchen nach Berlin und
retour; das ist nicht selbstverstandlich, sondem verdient ein groSes Lob.
Die italienische Post sabotierte die Fertigstellung des Buches nach Kraften:
Mit einer durchschnittlichen Geschwindigkeit von 0,2 m/sec beforderte sie
einen Express-Brief von Modena nach MUnchen. Auch der Zoll hat Teile des
Manuskripts begutachtet und gestempelt, aber leider keine nUtzlichen Kom
mentare geliefert.
Die Ideen zu einigen neuen Bildem stammen von einem Freund, der nicht
genannt werden will; ein herzliches Dankeschon nach Frankfurt. Herm
Dr. Michael Kaplan und Herm Dr. Peter Vachenauer danke ich fUr die geduldige
Einweihung in die Geheimnisse der Textverarbeitung.
Bei Frau Ingeborg Mayer und Herm Dr. Hans Wossner yom Springer-Verlag
bedanke ich mich fUr die familiare und freundschaftliche Betreuung. Am
Telephon verabschiedeten wir uns stets mit "TschUS".
MUnchen, im September 1988 W.H.
Inhalt
Elnleitung 1
1 GrundIagen der Codierung 7
1.1 Zeichen und Nachrichten 7
1.2 Der ISBN-Code 10
1.3 Diskretisierung 12
1.3.1 Rasterung 13
1.3.2 Quantisierung 15
1.4 Telegraphen-Codes 17
1.5 Binarcodierungen alphanumerischer Zeichenvorrate 20
1.6 Paritatskontroll-Codes 23
1.7 Grundbegriffe der Codierungstheorie 31
1. 7.1 Eindeutig decodierbare Codes 32
1.7.2 Prafix-Codes 34
1. 7.3 Blockcodes 38
1.8 Interleaving 46
2 Quellen und Kaniile 49
2.1 Endliche Stichprobenraume SO
2.2 Quellen 57
2.2.1 Quellen im engeren Sinne 57
2.2.2 Markov-Quellen 58
2.3 Kanale 79
2.3.1 UngestOrte Kanale 82
2.3.2 Total gestOrte Kanale 83
2.3.3 Deterministische Kanale 83
2.3.4 Symmetrische Kanale 84
2.4 Kanalerweiterungen 86
2.5 Kanaldecodierer 87
2.6 Kaskadenschaltung 92
X
3 Infonnatlon 95
3.1 Logarithmen 96
3.2 Informationsgehalt 98
3.3 Entropie 100
3.4 Transinformation 103
3.5 Der Hauptsatz der Datenverarbeitung 110
3.6 Thermodynamische Entropie 113
3.7 Kanalkapazitat 117
3.8 Die Fanosche Ungleichung 121
3.9 Die Entropie stationarer Markov-Quellen 123
4 Quellencodierung 128
4.1 Effizienz 129
4.2 Der Huffmansche Algorithmus 133
4.3 Shannon-Fano-Codierung 138
4.4 Der Quellencodierungssatz 140
4.5 Codierung stationarer Markov-Quellen 142
4.6 Der Ausgang des Quellencodierers 144
5 Kanalcodierung 146
5.1 Stochastische Codes 147
5.2 Der Kanalcodierungssatz 154
5.3 Die Umkehrung des Kanalcodierungssatzes 156
6 Infonnatlons- und Korrekturrate 160
6.1 Die Korrekturrate 161
6.2 Die Singleton-Schranke 163
6.3 Die Plotkin-Schranke 165
6.4 Die Hamming-Schranke 166
6.5 Die Gilbert-Schranke 171
7 Algebraische Grundlagen 174
7.1 Vektorraume 174
7.2 Polynome 182
7.3 Faktorringe 190
7.4 Endliche Korper 194
7.5 Einheitswurzeln 203
XI
8 Uneare Codes 209
8.1 Abstandshomogene Codes 213
8.2 Decodierfehlerwahrscheinlichkeit 217
8.3 Generatormatrizen 220
8.4 Kontrollmatrizen 224
8.5 Syndrom-Decodierung 228
8.6 Minimalabstand 231
8.7 Schranken fUr lineare Codes 235
8.8 Die MacWilliams-IdentiHiten 239
8.9 Code-Modifikationen 242
8.9.1 Erweitern und Punktieren 243
8.9.2 VergroBern und Verkleinern 245
8.9.3 Verlangern und VerkUrzen 245
8.9.4 Weitere Modifikationen 247
8.10 Code-Kombinationen 247
8.10.1 Das direkte Produkt 247
8.10.2 Die Summenkonstruktion 253
8.10.3 Das MacNeish-Produkt 255
8.10.4 Code-Verkettung 255
8.11 Reed-Muller-Codes 258
8.11.1 Die kombinatorische Definition 258
8.11 .2 Generatormatrizen 259
8.11.3 Algebraische Kennzeichnung 263
8.11.4 Modifikationen 264
8.11.5 Geometrische Kennzeichnung 266
8.11.6 Mehrheits-Decodierung 270
8.12 Existenz von MDS-Codes 273
9 Zyklische Codes 284
9.1 Code-Automorphismen 285
9.2 Generatorpolynome 297
9.3 Kontrollpolynome 304
9.4 Der Aquivalenzsatz 306
9.5 Die BCH-Schranke 309
9.6 BCH-Code-Decodierung 316
9.7 Quadratische-Rest-Codes 320
9.7.1 Definition der QR-Codes 324
9.7.2 Automorphismen der QR-Codes 330
9.7.3 Der Minimalabstand der QR-Codes 335
9.8 Die Codierung zyklischer Codes 343
XII
10 Falt~scCHies 347
10.1 Faltungscodierer 348
10.2 Generatormatrizen 353
10.3 Zustandsdiagramme 358
10.4 Decodierung 363
10.4.1 Der Viterbi-Algorithmus 363
10.4.2 Der Fano-Algorithmus 368
10.5 Eine Origami-Konstruktion 375
literatur 376
Stichwortverzeichnls 380