Table Of Content´
INTRODUCCION A LOS
´
PROCESOS ESTOCASTICOS
Luis Rinc´on
Departamento de Matema´ticas
Facultad de Ciencias UNAM
Circuito Exterior de CU
04510 M´exico CDMX
La versi´on pdf de este texto se encuentra en
www.matematicas.unam.mx/lars
La versi´on impresa puede adquirirse y
enviarse a domicilio en M´exico o el extranjero
a trav´es de la tienda virtual Plaza Prometeo.
Pro´logo
Elpresente texto contiene material b´asico en temas deprocesos estoc´asticos
anivellicenciatura, yesproductodelmejoramientocontinuodelasnotasde
clase que he utilizado para el curso de Procesos Estoc´asticos en la Facultad
de Ciencias de la Universidad Nacional Aut´onoma de M´exico. Est´a dirigi-
do a estudiantes de las carreras de Matem´aticas, Actuar´ıa, Matem´aticas
Aplicadas y otras carreras cient´ıficas afines. Una mirada al´ındice de temas
le dar´a al lector una idea de los temas expuestos y el orden en el que se
presentan. Cada cap´ıtulo contiene material que puede considerarse como
introductorio al tema, y al final de cada uno de ellos se proporcionan al-
gunas referencias para que el lector pueda profundizar en lo que aqu´ı se
presenta.
La mayor parte de este trabajo fue elaborado mientras realizaba una es-
tancia sab´atica en la universidad de Nottingham durante el an˜o 2007, y
agradezco al Prof. Belavkin su amable hospitalidad para llevar a cabo este
proyecto, y a la DGAPA-UNAM por el apoyo econ´omico recibido durante
dicha estancia. Adem´as, la publicaci´on de este trabajo ha sido posible gra-
ciasalapoyootorgadoatrav´esdelproyectoPAPIMEPE-103111.Agradezco
sinceramente todos estos apoyos recibidos y expreso tambi´en mi agradeci-
miento al grupo de personas del comit´e editorial de la Facultad de Ciencias
por su ayuda en la publicaci´on de este trabajo. Finalmente doy las gracias
por todos los comentarios que he recibido por parte de alumnos y profe-
sores paramejorar este material. Hasta dondehumanamente me sea posible
mantendr´e una versi´on digital actualizada de este libro en la p´agina web
http://www.matematicas.unam.mx/lars.
Luis Rinc´on
Enero 2012
Ciudad Universitaria, UNAM
[email protected]
Contenido
1. Ideas preliminares 1
1.1. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2. Caminatas aleatorias 7
2.1. Caminatas aleatorias . . . . . . . . . . . . . . . . . . . . . . . 7
2.2. El problema del jugador . . . . . . . . . . . . . . . . . . . . . 16
2.3. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3. Cadenas de Markov 27
3.1. Propiedad de Markov . . . . . . . . . . . . . . . . . . . . . . 27
3.2. Ejemplos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.3. Ecuaci´on de Chapman-Kolmogorov . . . . . . . . . . . . . . . 39
3.4. Comunicaci´on . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.5. Periodo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.6. Primeras visitas . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.7. Recurrencia y transitoriedad . . . . . . . . . . . . . . . . . . . 50
3.8. Tiempo medio de recurrencia . . . . . . . . . . . . . . . . . . 56
3.9. Clases cerradas . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.10.Nu´mero de visitas . . . . . . . . . . . . . . . . . . . . . . . . 58
3.11.Recurrencia positiva y nula . . . . . . . . . . . . . . . . . . . 65
3.12.Evoluci´on de distribuciones . . . . . . . . . . . . . . . . . . . 69
3.13.Distribuciones estacionarias . . . . . . . . . . . . . . . . . . . 71
3.14.Distribuciones l´ımite . . . . . . . . . . . . . . . . . . . . . . . 80
3.15.Cadenas regulares . . . . . . . . . . . . . . . . . . . . . . . . 86
3.16.Cadenas reversibles . . . . . . . . . . . . . . . . . . . . . . . . 88
3.17.A. A. Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
iii
iv Contenido
3.18.Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4. El proceso de Poisson 115
4.1. Definici´on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
4.2. Definiciones alternativas . . . . . . . . . . . . . . . . . . . . . 125
4.3. Proceso de Poisson no homog´eneo . . . . . . . . . . . . . . . 129
4.4. Proceso de Poisson compuesto . . . . . . . . . . . . . . . . . . 132
4.5. Proceso de Poisson mixto . . . . . . . . . . . . . . . . . . . . 134
4.6. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5. Cadenas de Markov a tiempo continuo 145
5.1. Probabilidades de transici´on . . . . . . . . . . . . . . . . . . . 151
5.2. El generador infinitesimal . . . . . . . . . . . . . . . . . . . . 153
5.3. Ecuaciones de Kolmogorov . . . . . . . . . . . . . . . . . . . . 156
5.4. Procesos de nacimiento y muerte . . . . . . . . . . . . . . . . 159
5.5. Conceptos y propiedades varias . . . . . . . . . . . . . . . . . 167
5.6. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
6. Procesos de renovaci´on y confiabilidad 173
6.1. Procesos de renovaci´on . . . . . . . . . . . . . . . . . . . . . . 173
6.2. Funci´on y ecuaci´on de renovaci´on . . . . . . . . . . . . . . . . 176
6.3. Tiempos de vida . . . . . . . . . . . . . . . . . . . . . . . . . 178
6.4. Teoremas de renovaci´on . . . . . . . . . . . . . . . . . . . . . 183
6.5. Confiabilidad . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
6.6. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
7. Martingalas 199
7.1. Filtraciones . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
7.2. Tiempos de paro . . . . . . . . . . . . . . . . . . . . . . . . . 202
7.3. Martingalas . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
7.4. Ejemplos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
7.5. Procesos detenidos . . . . . . . . . . . . . . . . . . . . . . . . 207
7.6. Una aplicaci´on: estrategias de juego . . . . . . . . . . . . . . 209
7.7. Teorema de paro opcional y aplicaciones . . . . . . . . . . . . 212
7.8. Algunas desigualdades . . . . . . . . . . . . . . . . . . . . . . 217
7.9. Convergencia de martingalas . . . . . . . . . . . . . . . . . . 218
7.10.Representaci´on de martingalas . . . . . . . . . . . . . . . . . 224
Contenido v
7.11.J. L. Doob . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
7.12.Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
8. Movimiento Browniano 239
8.1. Definici´on . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
8.2. Propiedades b´asicas . . . . . . . . . . . . . . . . . . . . . . . 244
8.3. Propiedades de las trayectorias . . . . . . . . . . . . . . . . . 248
8.4. Movimiento Browniano multidimensional . . . . . . . . . . . 252
8.5. El principio de reflexi´on . . . . . . . . . . . . . . . . . . . . . 255
8.6. Recurrencia y transitoriedad . . . . . . . . . . . . . . . . . . . 256
8.7. N. Wiener . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
8.8. P. P. L`evy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
8.9. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
9. C´alculo estoc´astico 273
9.1. Integraci´on estoc´astica . . . . . . . . . . . . . . . . . . . . . . 273
9.2. F´ormula de Itˆo . . . . . . . . . . . . . . . . . . . . . . . . . . 286
9.3. Ecuaciones diferenciales estoc´asticas . . . . . . . . . . . . . . 289
9.4. Simulaci´on. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293
9.5. Algunos modelos particulares . . . . . . . . . . . . . . . . . . 294
9.6. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
Ap´endice: conceptos y resultados varios 307
Bibliograf´ıa 315
´Indice anal´ıtico 318
vi Contenido
Cap´ıtulo 1
Ideas preliminares
Considere un sistema que puede caracterizarse por estar en cualquiera de
un conjunto de estados previamente especificado. Suponga que el sistema
evolucionaocambiadeunestadoaotroalolargodeltiempodeacuerdocon
una cierta ley de movimiento, y sea X el estado del sistema al tiempo t. Si
t
seconsideraquela formaenla queelsistema evoluciona noes determinista,
sino provocada por algu´n mecanismo azaroso, entonces puede considerarse
que X es una variable aleatoria para cada valor del´ındice t. Esta colecci´on
t
de variables aleatorias es la definici´on de proceso estoc´astico, y sirve como
modelo para representar la evoluci´on aleatoria de un sistema a lo largo del
tiempo. En general, las variables aleatorias que conforman un proceso no
son independientes entre s´ı, sino que est´an relacionadas unas con otras de
alguna manera particular. Las distintas formas en que pueden darse estas
dependencias es una de las caracter´ısticas que distingue a unos procesos
de otros. M´as precisamente, la definici´on de proceso estoc´astico toma como
baseunespaciodeprobabilidad Ω,F,P ypuedeenunciarsedelasiguiente
forma.
Definici´on 1.1 Un proceso estoc´astico es una colecci´on de variables aleato-
rias X :t T parametrizada por un conjunto T, llamado espacio parame-
t
tral, en donde las variables toman valores en un conjunto S llamado espacio
de estados.
En los casos m´as sencillos se toma como espacio parametral el conjunto
discreto T 0,1,2,... y estos nu´meros se interpretan como tiempos. En
1
2 1. Ideas preliminares
este caso se dice que el proceso es a tiempo discreto, y en general este tipo
de procesos se denotar´a por X : n 0,1,... , o expl´ıcitamente,
n
X0,X1,X2,...
as´ı, paracada n,X es el valor del procesooestado delsistema al tiempon.
n
Este modelo corresponde a un vector aleatorio de dimensi´on infinita. V´ease
la Figura 1.1.
Xn ω
X5
X3
X1
X4
X0
n
1 2 3 4 5
X2
Figura 1.1
El espacio parametral puede tambi´en tomarse como el conjunto continuo
T 0, . Se dice entonces que el proceso es a tiempo continuo, y se
denotar´a por
X : t 0 .
t
Por lo tanto, seguiremos la convenci´on de que si el sub´ındice es n, entonces
los tiempos son discretos, y si el sub´ındicees t, el tiempo se midede manera
continua. Los posibles espacios de estados que consideraremos son subcon-
juntos de Z, y un poco m´as generalmente tomaremos como espacio de esta-
dos el conjunto de nu´meros reales R, aunque en algunos pocos casos tam-
bi´en consideraremos a Zn o Rn. Naturalmente, espacios m´as generales son
posibles, tanto para el espacio parametral como para el espacio de estados.
En particular, para poder hablar de variables aleatorias con valores en el
espacio de estados S, es necesario asociar a este conjunto una σ-´algebra.
3
Xt ω
Xt2
Xt1
Xt3
t
t1 t2 t3
Figura 1.2
Considerando que S es un subconjunto de R, puede tomarse la σ-´algebra
de Borel de R restringida a S, es decir, S B R .
Un proceso estoc´astico, tambi´en llamado proceso aleatorio, puede conside-
rarse como una funci´on de dos variables
X : T Ω S
tal que a la pareja t,ω se le asocia el valor o estado X t,ω , lo cual
tambi´en puede escribirse como X ω . Para cada valor de t en T, el mapeo
t
ω X ω es una variable aleatoria, mientras que para cada ω en Ω fijo,
t
la funci´on t X ω es llamada una trayectoria o realizaci´on del proceso.
t
Es decir, a cada ω del espacio muestral le corresponde una trayectoria del
proceso. Es por ello que a veces se define un proceso estoc´astico como una
funci´on aleatoria. Una de tales trayectorias t´ıpicas que adem´as cuenta con
la propiedad de ser continua se muestra en la Figura 1.2, y corresponde a
una trayectoria de un movimiento Browniano, proceso que definiremos y
estudiaremos m´as adelante.
SiAesunconjuntodeestados,elevento X A correspondealasituaci´on
n
en dondeal tiempon el procesotoma algu´n valor dentro delconjuntoA. En
particular, X x es el evento en dondeal tiempon el proceso seencuen-
n
tra en el estado x. Considerando distintos tiempos, estaremos interesados
4 1. Ideas preliminares
en eventos de la forma Xn1 x1,Xn2 x2,...,Xnk xk .
Los diferentes tipos de procesos estoc´asticos se obtienen al considerar las
distintas posibilidades para el espacio parametral, el espacio de estados,
las caracter´ısticas de las trayectorias, y principalmente las relaciones de
dependencia entre las variables aleatorias que conforman el proceso. Los
siguientessonalgunosejemplosgeneralesdeprocesosestoc´asticos.Estosson
procesos que cumplen una cierta propiedad particular, no necesariamente
excluyentes unas de otras. A lo largo del texto estudiaremos y definiremos
con mayor precisi´on algunos de estos tipos de procesos.
Proceso de ensayos independientes
El proceso a tiempo discreto X :n 0,1,... puedeestar constituido por
n
variables aleatorias independientes. Este modelo representa una sucesi´on de
ensayos independientes de un mismo experimento aleatorio, por ejemplo,
lanzar un dado o una moneda repetidas veces. El resultado u observaci´on
del proceso en un momento cualquiera es, por lo tanto, independiente de
cualquier otra observaci´on pasada o futura del proceso.
Procesos de Markov
Estostiposdeprocesossonmodelosendonde,suponiendoconocidoelestado
presentedelsistema,losestadosanterioresnotieneninfluenciaenlosestados
futuros del sistema. Esta condici´on se llama propiedad de Markov y puede
expresarse de la siguiente forma: para cualesquiera estados x0,x1,...,xn 1
(pasado), xn (presente), xn 1 (futuro), se cumple la igualdad
P Xn 1 xn 1 X0 x0,...,Xn xn P Xn 1 xn 1 Xn xn .
De esta forma la probabilidad del evento futuro Xn 1 xn 1 s´olo de-
pende el evento X x , mientras que la informaci´on correspondiente
n n
al evento pasado X0 x0,...,Xn 1 xn 1 es irrelevante. Los proce-
sos de Markov han sido estudiados extensamente y existe un gran nu´mero
de sistemas que surgen en muy diversas disciplinas del conocimiento para
los cuales el modelo de proceso estoc´astico y la propiedad de Markov son
razonables. En particular, los sistemas din´amicos deterministas dados por
una ecuaci´on diferencial pueden considerarse procesos de Markov, pues su
evoluci´on futura queda determinada por la posici´on inicial del sistema y la
ley de movimiento especificada.
