Sätze und Aufgaben über Markoffsche Prozesse

232 Pages·1969·4.5 MB·English

by  Prof. Dr. E. B. Dynkin, Prof. Dr. A. A. Juschkewitsch (auth.)

Heidelberger Taschenbiicher Band 51
E. B. Dynkin . A. A. Juschkewitsch
Satze und Aufgaben
uber Markoffsche Prozesse
AU$ dem Russischen iibersetzt von
K. Schiirger, Heidelberg
Mit 56 Abbildungen
Springer-Verlag Berlin Heidelberg New York 1969
Titel der Originalausgabe: Teoremy i zadaci 0 processach Markova:Nauka, Moskau 1967
Prof. Dr. E. B. DYNKIN
Mechanisch-mathematische Fakultiit
der Universitiit Moskau/UdSSR
Prof. Dr. A. A. JUSCHKEWITSCH
Mechanisch-mathematische FakultiU
der Universitiit Moskau/UdSSR
KLAUS SCHiiRGER
Institut fUr Angewandte Mathematik
der Universitat Heidelberg
ISBN-13: 978-3-540-04546-5 e-ISBN-13: 978-3-642-95114-5
DOI: 10.1007/978-3-642-95114-5
Aile Rechte vorbehalten.
Kein Teil dieses Buches darf ohne schriftliche Genehmigung des Springer-Verlages iibersetzt oder in irgend-
einer Form vervielfaltigt werden.
© by Springer-Verlag Berlin· Heidelberg 1969.
Vorwort
Ergebnisse und Methoden der Wahrscheinlichkeitstheorie finden
immer sHirker Anwendung in Naturwissenschaft und Technik; auch
dringen sie immer tiefer in verschiedene Gebiete der Mathematik
selbst ein. Sowohl fUr Mathematiker verschiedener Fachgebiete als
auch fUr Physiker und Ingenieure ist es niitzlich, diese Methoden zu
beherrschen. Indessen konnen elementare Lehrbiicher nur eine be-
grenzte Vo rstellung von der gegenwartigen Entwicklung dieses Ge-
bietes vermitteln; Monographien jedoch, die neuere Richtungen
behandeln, sind gewohnlich fUr Spezialisten geschrieben und benut-
zen einen umfangreichen mengentheoretischen und analytischen
Apparat.
Urn sich neue mathematische Ideen anzueignen, ist es notwendig,
ihre Fruchtbarkeit zu spiiren und zu sehen, wie sie arbeiten. Dazu
ist es besser, nicht mit allgemeinen Satzen, sondern mit konkreten
Problemen zu beginnen. Die Probleme miissen sich auf natiirliche
Weise ergeben; der jeweils zu Grunde liegende Sachverhalt solI ty-
pisch sein, er darf jedoch nicht durch unwesentliche technische
Schwierigkeiten, die sich bei einer prazisen systematischen Darstel-
lung ergeben, kompliziert werden.
Dieses Buch mochte den Leser gerade auf einem solchen Weg in
neuere Entwicklungen der Theorie der Markoffschen Prozesse ein-
fUhren.
Die Markoffschen Prozesse stellen die am meisten studierte
Klasse von stochastischen Prozessen dar und besitzen vieIniltige
Anwendungen. Teilgebiete der Theorie der Markoffschen Prozesse,
die bereits als klassisch gel ten k6nnen, sind in einer Reihe von bril-
lant geschriebenen Biichern dargestellt (siehe z. B. [1] und [2]). In
den letzten Jahren entstandenjedoch neue wichtige Richtungen, und
es wurden neue Zusammenhange zwischen den Markoffschen Pro-
zessen und der mathematischen Analysis entdeckt. Diese Fragen
werden in einigen Monographien behandelt (s. [3]-[11)); sie sind
allerdings als erste EinfUhrung in diesen Gegenstand wenig geeignet.
Indessen liegen dem ganzen Gebiet im wesentlichen einige iiberaus
durchsichtige und anschauliche Sachverhalte zu Grunde, deren Stu-
dium sich fUr die Ubung im wahrscheinlichkeitstheoretischen Den-
ken als dank bar erweist.
V
Dieses Buch enthalt vier Kapitel. Jedes von ihnen fUhrt den Leser
in einen bestimmten Problemkreis ein: Potentiale, harmonische und
exzessive Funktionen, das Grenzverhalten der Trajektorien eines
Prozesses (Kapitel I), die wahrscheinlichkeitstheoretische Losung
von Differentialgleichungen (Kapitel II), einige Probleme optimalen
Stoppens (Kapitel III), wahrscheinlichkeitstheoretische Aspekte von
Randwertaufgaben der Analysis (Kapitel IV).
1m ersten Kapitel wird· die einfachste Markoffsche Kette be-
trachtet: die symmetrische Irrfahrt auf dem Gitter. Es zeigt sich,
daB die von der klassischen Analysis her bekannten Begriffe der har-
monischen Funktion, des Potentials, der Kapazit1it u. a. ihre Ana-
loga in diesem diskreten Modell besitzen und zur Losung rein wahr-
scheinlichkeitstheoretischer Probleme, zu denen etwa dasjenige der
Bestimmung der Zahl der Eintritte in eine gegebene Menge gehOrt,
benutzt werden konnen. Die Grundlage fUr dieses Kapitel bildete die
Arbeit von ITO und McKEAN [12].
In Kapitel II wird gezeigt, wie sich wahrscheinlichkeitstheoreti-
sche Oberlegungen zur Erlangung analytischer Ergebnisse anwen-
den lassen. Insbesondere wird so die Existenz einer Losung des Di-
richletschen Problems fUr die Laplacesche Differentialgleichung fUr
eine umfassende Klasse von Gebieten bewiesen*.
Der Zusammenhang zwischen Markoffschen Prozessen und Po-
tentialen findet eine iiberraschende Anwendung im dritten Kapitel
beim Studium des Problems des optimalen Stoppens eines Markoff-
schen Prozesses. Als QueUe fiir dieses Kapitel diente die Arbeit [13].
In letzter Zeit richteten viele Forscher ihre Aufmerksamkeit auf
das Problem, die umfassendsten Klassen von Randbedingungen fUr
Differentialgleichungen und andere Arten von Gleichungen zu fin-
den. In Kapitel IV werden diese Fragen vom wahrscheinlichkeits-
theoretischen Standpunkt aus behandelt. Die Betrachtung des ein-
fachsten diskreten Modells (Geburts- und Todesprozesse) erlaubt
eine Beschrlinkung aufvollkommen elementare Hilfsmittel. FELLER
ist bahnbrechend in der Anwendung wahrscheinlichkeitstheoreti-
scher Methoden auf Randwertaufgaben. Geburts- und Todespro-
* Lange vor der Entstehung der allgemeinen Theorie der Markoffschen
Prozesse bemerkte man bereits einen Zusammenhang zwischen der Wahr-
scheinlichkeitstheorie und dem Dirichletschen Problem (die Arbeiten von
H. PHILLIPS und N. WIENER (1923), R. COURANT, K. FRIEDRICHS und H. LEWY
(1928)). Diese Grundgedanken wurden weiter vertieft in den Arbeiten von
A. J. CHiNTSCHIN (1933) und I. G. PETROVSKI (1934). Der Ausdruck, der die
Lasung des Dirichletschen Problems mit Hilfe der Trajektorien eines Wiener-
schen Prozesses darstellt, wurde von J. L. DOOB (1954) entdeckt. 1m Gegen-
satz zu unserem Vorgehen benutzte DOOB diesen Ausdruck, urn aus Satzen
der Analysis Eigenschaften der Trajektorien herzuleiten.
VI
zesse wurden von ibm in der Arbeit [14] betrachtet. Obwohl FELLER
sich von wahrscheinlichkeitstheoretischer Intuition leiten laBt, fiihrt
er doch samtliche Konstruktionen rein analytisch durch. Unser Vor-
gehen griindet sich auf die Betrachtung der Eigenschaften der Tra-
jektorien und stiitzt sich auf den Begriff des charakteristischen Ope-
rators (eine kurze Darstellung des Kapitels IV ist in der Arbeit [15]
enthalten).
Am Ende eines jeden Kapitels finden sich Aufgaben; sie dienen
nicht lediglich als Obungsmaterial, sondern sie erganzen den Grund-
text und enthalten auch neuen Wissensstoff. So wird in Form von
Aufgaben in Kapitel III der Martinsche Rand fiir eine abzahlbare
Markoffsche Kette behandelt.
Urn nicht den Hauptgang der wahrscheinlichkeitstheoretischen
Oberlegungen zu unterbrechen, wurden einige analytische Hilfsbe-
trachtungen in den Anhang verlegt.
Neben den schon erwahnten grundlegenden Quellen werden im
Buch (am haufigsten in den Aufgaben und Beispielen) einige andere
Arbeiten benutzt. Hinweise hierauf findet man in den FuBnoten.
Beim Leser wird lediglich die Kenntnis der Grundlagen der
Wahrscheinlichkeitstheorie und der klassischen Analysis voraus-
gesetzt. Einige Aufgaben erfordern jedoch eine umfassendere Vor-
bildung. Wir haben es bewuBt in diesem einfiihrenden Text vermie-
den, uns auf MaBtheorie und MeBbarkeit zu beziehen. Derjenige
Leser, der mit diesen Begriffen vertraut ist, wird keine Miihe haben,
eine Darstellung von hoherem theoretischen Niveau zu verstehen.
Dieses Buch entstand aus Vorlesungen, die yom ersten der beiden
Autoren an der Moskauer Universitat in den lahren 1962-1963
gehalten wurden (die Niederschrift dieser Vorlesungen besorgten
M. B. MAUUTOFF, S. A. MOLTSCHANOFF und M. I. FREIDLIN). An-
schlieBend wurde dieser Stoff vervollstandigt und griindlich iiber-
arbeitet; weiter wurden dem Buch Aufgaben beigefiigt.
Die Autoren danken I. L. GENIS fiir die groBe Hilfe bei der Fer-
tigstellung des Manuskripts.
22. lanuar 1966 E. B. DYNKIN
A. A. lUSCHKEWITSCH
VII
Vorwort zur deutschen Ausgabe
In der Wahrscheinlichkeitstheorie gibt es eine Fiille von Pro-
blemen, die sich recht elementar behandeln lassen, deren L6sungs-
gang anschaulich verfolgt werden kann, und die gleichzeitig durch
Anwendungen wohl motiviert und nicht trivial sind und viele typi-
sche SchluBweisen moderner Mathematik enthalten. Ais ausgezeich-
netes Beispiel dieser Behandlungsweise der Wahrscheinlichkeits-
theorie war das Buch von W. FELLER, An introduction to probability
theory and its applications, vol. I, John Wiley and Sons, New York,
London, Sidney, 1. ed. 1950, 3. ed. 1968, seit langem wohlbekannt.
Das vorliegende Biichlein von DYNKIN und JUSCHKEWITSCH hat
das schwierige Kunststiick fertiggebracht, in gleicher Weise auf
kleinem Raum in ein sehr wichtiges Teilgebiet einzufUhren, das
zwar sehr stark von seinen Anwendungen und seinem anschaulichen
Gehalt gepragt ist, jedoch als technisch schwierig gilt, namlich die
Theorie der MarkofIschen Prozesse. Der Leser braucht hier im
Grunde keinerlei V orkenntnisse aus der Wahrscheinlichkeitstheorie,
sondem nur die mathematische Ausbildung, die er etwa in den
ersten zwei bis drei Semestern an deutschen Hochschulen erhalt. 1m
ganz elementaren ersten Kapitel des Buchs gewinnt er anhand der
symmetrischen Irrfahrt auf der Geraden rasch ein GefUhl fUr den
BegrifI der Wahrscheinlichkeit. Er gelangt dann sogleich zu den
aktuellsten Themen, die noch nirgends eine elementare Darstellung
gefunden haben: Wahrscheinlichkeitstheoretische L6sung partieller
DifIerentialgleichungen und der Zusammenhang mit der Potential-
theorie, Randwerttheorie und Theorie des optimalen Stoppens
MarkofIscher Ketten.
Das Biichlein bildet nicht nur eine ausgezeichnete schnelle Ein-
fUhrung in seinen eigentlichen Gegenstand, MarkofIsche Prozesse,
sondem in wahrscheinlichkeitstheoretische Denkweisen iiberhaupt.
Es ist daher hervorragend geeignet fUr Studenten der Mathematik
ebenso wie der Physik, Biologie und anderer Anwendungsgebiete
und zum Selbststudium. Besonders empfohlen werden kann es allen
Lehrern, die sich fUr Wahrscheinlichkeitstheorie interessieren, und
fUr Arbeitsgemeinschaften an h6heren Schulen, wo man es fUr sich
oder auch parallel mit der allgemeinen EinfUhrung in die Grundlagen
der Wahrscheinlichkeitstheorie von H. ATHEN (Wahrscheinlich-
VIII
keitstheorie und Statistik, Schroedel, Hannover, und Schoningh,
Paderborn, 2. Aufl. 1968) behandeln konnte.
Das Buch von DYNKIN und JUSCHKEWITSCH ist wohl einzig-
artig in seiner Kombination elementarer und klarer Darstellung,
Aktualitat und mathematischer Eleganz und Tiefe. Es ist sogleich
nach Erscheinen im elementaren Seminar fiber Wahrscheinlich-
keitstheorie der Universitat Heidelberg mit gutem Erfolg auspro-
biert worden, und ich bin sehr froh, daB es jetzt durch die vorlie-
gende deutsche Ausgabe in preiswerter Taschenbuchform so vielen
weiteren Interessenten zuganglich gemacht wird.
K. KRICKEBERG
IX
Inhaltsverzeichnis
KAPITEL I Rekurrenzkriterien .
§ 1. Die ~ymmetrische Irrfahrt . 1
§ 2. Die Ubergangsfunktion. . 2
§ 3. Das Verhalten der Trajektorien fUr n -HfJ 4
§ 4. Harmonische Funktionen . 6
§ 5. Das Potential . . . . 9
§ 6. Exzessive Funktionen. 12
§ 7. Die Kapazitiit. . . . 15
§ 8. Rekurrenzkriterien. . 16
§ 9. Die Rekurrenz von Teilmengen einer Koordinatenachse 22
Aufgaben. . . . . . . . . . . . . . . . . . . . 26
KAPITEL II Wahrscheinlichkeitstheoretische Losung
einiger Differentialgleichungen. . . . . . . . . . 35
§ 1. Die Definition des Wienerschen Prozesses . . . . .. 35
§ 2. Die Verteilung im Augenblick des Austritts aus einem
Kreis; die mittlere Austrittszeit. . . . . . . . .. 39
§ 3. Die Markoffsche und die starke Markoffsche Eigen-
schaft . . . . . . . . . . . . . . . . . . . 42
§ 4. Die Harmonizitiit der Austrittswahrscheinlichkeit.. 43
§ 5. Reguliire und irreguliire Randpunkte . . . . . .. 47
§ 6. Das Null-Eins-Gesetz. Ein hinreichendes Kriterium
fUr Regularitiit. . . . . . . . . . . . . . . .. 52
§ 7. Das Dirichletsche Problem . . . . . . . . . .. 55
§ 8. Wahrscheinlichkeitstheoretische Losung der Poisson-
schen Differentialgleichung . . . . . . . . . 63
§ 9. Infinitesimaler und charakteristischer Operator. 64
Aufgaben. . . . . . . . . . . . . . . . 70
KAPITEL III Das Problem des optimalen Stoppens . 81
§ 1. Das Problem der besten Wahl . . . . . . . 81
§ 2. Das Problem des optimalen Stoppens einer Markoff-
schen Kette. . . . . 92
§ 3. Exzessive Funktionen. . . . . . . . . . . . .. 96
XI
§ 4. Der Wert des Spiels . . . . . . . . . . . . .. 99
§ 5. Die optimale Strategie . . . . . . . . . . . .. 101
§ 6. Anwendung auf die Irrfahrt mit Absorption und auf
das Problem der besten Wahl . . . . . . . .. 103
§ 7. Das optima Ie Stoppen des Wienerschen Prozesses. 106
§ 8. Beweis einer fundamentalen Eigenschaft konvexer
Funktionen 113
Aufgaben. . . . . . . . . . . . . . . . .. 119
KAPITEL IV Randbedingungen 137
§ 1. Einfiihrung . . . . . . 13 7
§ 2. Der Geburts- und TodesprozeB 141
§ 3. Natiirliche Skala und Austrittswahrscheinlichkeit . 144
§ 4. AbstoBende und anziehende Rander . . . . .. 151
§ 5. Die Charakteristik, die mittlere Austrittszeit und das
GeschwindigkeitsmaB. . . . . . . . . . . . 152
§ 6. Erreichbare und unerreichbare Rander . . . . 161
§ 7. Fortsetzungen des Geburts- und Todesprozesses.
Formulierung des Problems. . . . . . . . . 163
§ 8. SprungmaB und Reflexionskoeffizient. . . . . 169
§ 9. Der Absorptionskoeffizient. Nach innen passierbare
Rander. . . . . . . 176
§ 10. Randbedingungen . . 184
§ 11. Der Eindeutigkeitssatz 188
Aufgaben. . . . . . 195
ANHANG .... 206
§ 1. Abschiitzung der Funktion g(x,Y) . . . . 206
§ 2. Einige Eigenschaften konvexer Funktionen 210
§ 3. Lasung der Funktionalgleichung p(s)p(t)=p(s+t) 214
Literatur . . . . . . . . . 216
Namen- und Sachverzeichnis 217
XII