Procesos ARMA

24 Pages·2013·0.2 MB·Spanish

Cap´ıtulo 4
Procesos ARMA
4.1. Modelos Autoregresivos
La idea de estos modelos es que los valores actuales de la serie X dependen de los p valores
t
previos: X ,...,X .
t−1 t−p
Definici´on 4.1 Un modelo autoregresivo de orden p, denotado por AR(p), es de la forma
X = φ X +φ X +···+φ X +w (4.1)
t 1 t−1 2 t−2 p t−p t
donde X es estacionario, φ ,φ ,...,φ son constantes (φ (cid:54)= 0) y w es un ruido blanco con
t 1 2 p p n
media 0 y varianza σ2.
w
El proceso X tiene media 0. Si queremos analizar un proceso Y con media µ (cid:54)= 0 podemos
t t
considerar el proceso Y −µ.
t
Para la definici´on no es necesario suponer que el ruido blanco tiene una distribuci´on parti-
cular, pero m´as adelante supondremos que el ruido blanco tiene distribuci´on normal.
Una notaci´on muy u´til para considerar este tipo de modelos se basa en el uso del operador
de retardo B. El modelo AR(p) es
(1−φ B−φ B2−···−φ Bp)X = w (4.2)
1 2 p t t
La ecuacio´n anterior se puede escribir de manera resumida como
φ(B)X = w
t t
Definici´on 4.2 El operador autoregresivo se define por
φ(B) = 1−φ B−φ B2−···−φ Bp (4.3)
1 2 p
Vamos a considerar inicialmente un modelo autoregresivo de primer orden
X = φX +w (4.4)
t t−1 t
1
2 CAP´ITULO 4. PROCESOS ARMA
Si iteramos esta relaci´on hacia el pasado k veces obtenemos
X = φX +w = φ(φX +w )+w
t t−1 t t−2 t−1 t
= φ2X +φw +w
t−2 t−1 t
.
.
.
k−1
(cid:88)
= φkX + φjw
t−k t−j
j=0
Si continuamos este proceso de iteraci´on hacia el pasado, siempre que |φ| < 1 y X sea
t
estacionario, podemos representar un modelo AR(1) como un proceso lineal:
∞
(cid:88)
X = φjw . (4.5)
t t−j
j=0
El proceso AR(1) definido por (4.5) es estacionario con media
∞
(cid:88)
E(X ) = φjE(w ) = 0
t t−j
j=0
y funci´on de autocovarianza
∞ ∞
(cid:104)(cid:16)(cid:88) (cid:17)(cid:16)(cid:88) (cid:17)(cid:105)
γ(h) = Cov(X ,X ) = E φjw φkw
t+h t t+h−j t−k
j=0 k=0
= E[(w +···+φhw +φh+1w +···)(w +φw +···)]
t+h t t−1 t t−1
(cid:88)∞ (cid:88)∞ σ2φh
= σ2 φh+jφj = σ2φh φ2j = w , h ≥ 0 (4.6)
w w 1−φ2
j=0 j=0
Recordamosqueγ(−h) = γ(h),demodoqueestodefinelaautocovarianzaparatodoslosvalores
de h.
Ejemplo 4.1 ( La trayectoria de un proceso AR(1))
La figura 4.1 muestra a la izquierda las trayectorias de dos procesos autoregresivos de primer
orden
X = φX +w
t t−1 t
con φ = 0.9 (arriba) y φ = −0.9 (abajo). A la derecha se presentan las funciones de autoco-
rrelaci´on respectivas. Se observa que la trayectoria del primer proceso es mucho m´as regular que
la del segundo. Esto se debe a que en el primer caso tenemos una autocorrelaci´on fuerte pero
positiva entre valores sucesivos, lo que hace que estos valores est´en cercanos. En el segundo caso,
en cambio, los valores absolutos de t´erminos consecutivos son cercanos, pero sus signos tienden
a alternarse, produciendo trayectorias quebradas.
Las funciones de autocorrelaci´on decaen exponencialmente en ambos casos, pero en el segun-
do los signos se alternan.
4.1. MODELOS AUTOREGRESIVOS 3
AR(1) f =+0.9 Correlación AR(1) f =+0.9
2 1.0
0 0.8
x−4−2 Correlación0.40.6
−6 0.2
0.0
0 20 40AR(1)T i mfe=-0.690 80 100 0 5 C10orrelaciónr e tAa1Rr5d(o1s) f =-02.09 25 30
6 1.0
x−2024 Correlación0.00.5
−6 −0.5
0 20 40 60 80 100 0 5 10 15 20 25 30
Figura 4.1: Procesos Autoregresivos
Ejemplo 4.2 (El Paseo al Azar y modelos explosivos)
Consideremos un paseo al azar sin deriva
t
(cid:88)
X = w = X +w para t ≥ 0.
t j t−1 t
j=0
La ecuacio´n anterior es la ecuaci´on (4.4) con φ = 1. Para que el paseo al azar sea un proceso
autoregresivo tenemos que verificar que es estacionario. Pero como vimos anteriormente, la
covarianza del paseo al azar es
s t
(cid:0)(cid:88) (cid:88) (cid:1)
γ(s,t) = E(X X ) = E X X = m´ın{s,t}
s t j k
j=1 k=1
quenoeslacovarianzadeunprocesoestacionario.Porlotantonoexistenprocesosautoregresivos
de orden 1 con coeficiente φ = 1. Podemos preguntarnos ahora si es posible tener un proceso de
este tipo con φ > 1. Estos procesos se conocen como procesos explosivos porque r´apidamente
crecen en magnitud. Como |φ|j tiende a infinito, cuando j → ∞, (cid:80)k φjw no converge (en
j=0 t−j
media cuadr´atica) cuando k → ∞. Sin embargo, podemos obtener un proceso estacionario de la
siguiente manera: Partimos de
X = φX +w
t+1 t t+1
y ahora invertimos la relaci´on para obtener
X = φ−1X −φ−1w = φ−1(cid:0)φ−1X −φ−1w (cid:1)−φ−1w
t t+1 t+1 t+2 t−2 t+1
.
.
.
k
(cid:88)
= φ−kX − φ−jw
t+k t+j
j=1
Como |φ|−1 < 1 este resultado produce un proceso estacionario AR(1) dependiente del futuro:
∞
(cid:88)
X = − φ−jw (4.7)
t t+j
j=1
4 CAP´ITULO 4. PROCESOS ARMA
Es posible verificar que este proceso es estacionario pero el problema desde el punto de vista
pr´acticoesqueestarepresentaci´ondependedelfuturo.Cuandounprocesonodependedelfuturo,
como los procesos autoregresivos de orden 1 que satisfacen |φ| < 1, decimos que el proceso es
causal.
Ejemplo 4.3
Es posible definir procesos causales equivalentes a los procesos no causales que vimos en el
ejemplo anterior si suponemos que el ruido blanco tiene distribuci´on Gaussiana. Por ejemplo, si
X = φX +w con |φ| > 1
t t−1 t
y con w ∼ iidN(0,σ2) entonces a partir de (4.7) vemos que X es un proceso Gaussiano
t w t
estacionario no causal, centrado y con
∞ ∞
(cid:88) (cid:88)
γ (h) = Cov(X ,X ) = Cov(− φ−jw ,− φ−kw )
X t+h t t+h+j t+k
j=1 k=1
σ2φ−2φ−h
= w .
1−φ−2
Usando (4.6), el proceso causal definido por
Y = φ−1Y +v
t t−1 t
con v ∼ iidN(0,σ2φ−2) tiene la misma distribuci´on que el proceso X . Por ejemplo, si X =
t w t t
2X +w con σ2 = 1, entonces Y = 1Y +v con σ2 = 1/4 es un proceso causal equivalente.
t−1 t w t 2 t−1 t v
Unat´ecnicaalternativaalaiteraci´onhaciaelpasadoparaobtenerelprocesoestacionarioque
es soluci´on a una ecuaci´on autoregresiva es la igualaci´on de coeficientes, que funciona bien con
modelosde´ordenessuperiores.ConsideremosunmodeloAR(1)escritoent´erminosdeloperador
autoregresivo:
φ(B)X = w (4.8)
t t
con φ(B) = 1−φB y |φ| < 1. Tambi´en consideramos este modelo expresado como un proceso
lineal (4.5) pero escrito en la forma
∞
(cid:88)
X = ψ w = ψ(B)w (4.9)
t j t−j t
j=0
donde ψ(B) = (cid:80)∞ ψ Bj y ψ = φj.
j=0 j j
Supongamosquenosabemosqueψ = φj yqueremoshallarelvalordeψ .Podemossustituir
j j
la expresi´on (4.9) en (4.8) y obtenemos
φ(B)ψ(B)w = w (4.10)
t t
Los coeficientes a ambos lados de la ecuaci´on deben ser iguales, por lo que
(1−φB)(1+ψ B+ψ B2+···+ψ Bj +···) = 1 (4.11)
1 2 j
Si reorganizamos los coeficientes en la ecuaci´on (4.11) obtenemos
1+(ψ −φ)B+(ψ −ψ φ)B2+···+(ψ −ψ φ)Bj +··· = 1
1 2 1 j j−1
4.2. MODELOS DE PROMEDIO MO´VIL 5
Igualando los coeficientes de Bj para cada valor de j ≥ 1 obtenemos ψ = φ, y ψ = φψ = φ2
1 2 1
y en general
ψ = ψ φ
j j−1
con ψ = 1 , que tiene como soluci´on ψ = φj.
0 j
Otra manera de ver este proceso es considerar el modelo AR(1) en t´erminos de operadores:
φ(B)X = w . Si suponemos que existe el operador inverso φ−1(B) y multiplicamos ambos lados
t t
de la ecuaci´on por ´el, obtenemos
φ−1(B)φ(B)X = φ−1(B)w
t t
o sea
X = φ−1(B)w . (4.12)
t t
Comparando la ecuaci´on (4.12) con (4.9) vemos que
φ−1(B) = φ(B) = 1+φB+φ2B2+···+φjBj +···
Observamos que los operadores se comportan como polinomios, es decir, si consideramos el
polinomio φ(z) = 1−φz, donde z ∈ C y |φ| < 1, entonces
1
φ−1(z) = = 1+φz+φ2z2+···+φjzj +···
1−φz
y vemos que los coeficientes de Bj en φ−1(B) son los mismos que los de zj en φ−1(z).
4.2. Modelos de Promedio M´ovil
Definici´on 4.3 Un modelo de promedio m´ovil de orden q (MA(q)) es un modelo de la forma
X = w +θ w +θ w +···+θ w (4.13)
t t 1 t−1 2 t−2 q t−q
donde θ ,j = 1,...,q son par´ametros del modelo con θ (cid:54)= 0 y w es un ruido blanco con varianza
j q t
σ2.
w
Este sistema es igual al proceso lineal (4.9) con ψ = 1,ψ = θ para j = 1,...,q y ψ = 0
0 j j j
para los dem´as valores de j. Podemos escribir este proceso como
X = θ(B)w (4.14)
t t
usando la siguiente definici´on
Definici´on 4.4 El operador de promedio m´ovil es
θ(B) = 1+θ B+θ B2+···+θ Bq (4.15)
1 2 q
A diferencia de lo que ocurre con el proceso autoregresivo, el proceso de promedio m´ovil es
estacionario para cualesquiera valores de los par´ametros θ ,...,θ .
1 q
6 CAP´ITULO 4. PROCESOS ARMA
MA(1) q =+0.5 Correlación MA(1) q =+0.5
2 1.0
1 0.8
x−10 Correlación0.40.6
−2 0.2
−3 0.0
0 20 40MA(1)T im qe=-0.650 80 100 0 2 Correla4ciónr e MtarAdo(1s) q6=-0.5 8 10
3
2 0.8
x−101 Correlación0.00.4
−2 −0.4
0 20 40 60 80 100 0 2 4 6 8 10
Figura 4.2: Procesos de Promedio M´ovil
Ejemplo 4.4
Consideremos el proceso MA(1) X = w +θw . Entonces E(X ) = 0,
t t t−1 t

(1+θ2)σ2 si h = 0,
 w
γ(h) = θσ2 si h = 1,
w

0 si h > 1.
y la funci´on de autocorrelaci´on es

1 si h = 0,


ρ(h) = θ/(1+θ2) si h = 1,

0 si h > 1.
Observamos que |ρ(1)| ≤ 1/2 para todo θ.
La figura 4.2 muestra a la izquierda ejemplos de las trayectorias de estos procesos cuando
θ = 0.5 (arriba) y θ = −0.5 (abajo). A la derecha se presentan las funciones de correlaci´on
respectivas. Observamos que, en contraste con lo que ocurre con procesos autoregresivos, los
valores de los procesos de promedio m´ovil de orden 1 no est´an correlacionados si el retardo es
mayor a 1.
Ejemplo 4.5 (Invertibilidad)
A partir del ejemplo anterior vemos que para un modelo MA(1), ρ(h) es igual si cambiamos θ
por 1/θ. En el caso de la funci´on de autocovarianza, por ejemplo, el modelo que corresponde
a σ2 = 1 y θ = 5 tiene la misma autocovarianza que el modelo que corresponde a σ2 = 25 y
w w
θ = 1/5, que es

26 si h = 0,


γ(h) = 5 si h = 1,

0 si h > 1.
Por lo tanto el proceso MA(1)
1
X = w + w , w ∼ iidN(0,25)
t t t−1 t
5
4.3. PROCESOS AUTOREGRESIVOS DE PROMEDIO MO´VIL 7
y el proceso
Y = v +5v , v ∼ iidN(0,1)
t t t−1 t
tienen la misma distribuci´on porque son normales. Como s´olo podemos observar los procesos X
t
o Y y no los ruidos w o v , no podemos distinguir entre estos dos modelos. Para escoger uno de
t t t
ellos vamos a preferir el modelo que tenga una representaci´on autoregresiva infinita. Un proceso
de este tipo se conoce como un proceso invertible.
Para encontrar el modelo invertible podemos intercambiar el papel que juegan X y w en la
t t
definici´on y escribimos el modelo como w = −θw +X . Siguiendo un proceso similar al que
t t−1 t
usamos para el proceso autoregresivo vemos que si |θ| < 1 entonces w = (cid:80)∞ (−θ)jX , que
t j=0 t−j
es la representaci´on autoregresiva infinita del modelo. En consecuencia, preferimos el modelo
con σ2 = 25 y θ = 1/5 porque es invertible.
w
4.3. Procesos Autoregresivos de Promedio Mo´vil
Definici´on 4.5 Una serie de tiempo {X ,t ∈ Z} es un proceso ARMA(p,q) si es estacionario
t
y
X = φ X +···+φ X +w +θ w +···+w (4.16)
t 1 t−1 p t−p t 1 t−1 t−q
con φ (cid:54)= 0,θ (cid:54)= 0 y σ2 > 0. Los par´ametros p y q se conocen como los ´ordenes autoregresivo y
p q w
de promedio m´ovil, respectivamente. Si X tiene media µ distinta de 0, ponemos α = µ(1−φ −
t 1
φ −···−φ ) y escribimos el modelo como
2 p
X = α+φ X +···+φ X +w +θ w +···+w . (4.17)
t 1 t−1 p t−p t 1 t−1 t−q
PodemosrepresentarunmodeloARMA(p,q)usandolosoperadoresARyMAdelasiguiente
manera:
φ(B)X = θ(B)w . (4.18)
t t
Ejemplo 4.6 (Sobreparametrizaci´on)
Consideremos un proceso de ruido blanco X = w . Podemos escribir esta ecuaci´on de manera
t t
equivalente como 0.5X = 0.5w o cambiando el tiempo una unidad como 0.5X = 0.5w . Si
t t t−1 t−1
restamos la primera y la u´ltima de estas representaciones obtenemos
X −0.5X = w −0.5w
t t−1 t t−1
o sea
X = 0.5X +w −0.5w (4.19)
t t−1 t t−1
que parece ser un proceso ARMA(1,1). Por supuesto, el proceso sigue siendo el mismo, un ruido
blanco,peroahoraestonoresultaobvioporlasobreparametrizaci´on.Podemosescribirlaversi´on
sobreparametrizada con los operadores como φ(B)X = θ(B)w , o
t t
(1−0.5B)X = (1−0.5B)w .
t t
Aplicamos el operador φ(B)−1 = (1−0.5B)−1 a ambos lados y obtenemos
X = (1−0.5B)−1(1−0.5B)X = (1−0.5B)−1(1−0.5B)w = w
t t t t
que es el modelo original.
8 CAP´ITULO 4. PROCESOS ARMA
El problema de sobreparametrizaci´on se puede detectar f´acilmente si escribimos expl´ıcita-
mente la factorizaci´on de los operadores o sus polinomios asociados. Tenemos φ(z) = (1−0.5z)
y θ(z) = (1−0.5z) y observamos que ambos tienen un factor comu´n, (1−0.5z). Este factor
comu´n identifica la sobreparametrizaci´on y si lo eliminamos obtenemos φ(z) = θ(z) = 1 y vemos
que el modelo adecuado es un ruido blanco.
Los ejemplos anteriores muestran una serie de problemas que se pueden presentar con la
definici´on de los procesos ARMA(p,q):
1. Modelos sobreparametrizados,
2. Modelos estacionarios que dependen del futuro,
3. Modelos de promedio m´ovil que no son u´nicos.
Para resolver estos problemas necesitamos algunas restricciones adicionales.
Definici´on 4.6 Definimos los polinomios AR y MA por
φ(z) =1−φ z−···−φ zp, φ (cid:54)= 0
1 p p
y
θ(z) =1+θ z+···+θ zq, θ (cid:54)= 0,
1 q q
respectivamente, donde z ∈ C.
Para resolver el primer problema an˜adimos una restricci´on a la definici´on de los procesos
ARMA(p,q): Diremos que un proceso es de este tipo si los polinomios asociados no tienen
factores comunes. Para el segundo problema necesitamos la siguiente definici´on.
Definici´on 4.7 Un proceso ARMA(p,q) es causal si la serie de tiempo {X ,t ∈ Z} se puede
t
escribir como un proceso lineal unilateral:
∞
(cid:88)
X = ψ w = ψ(B)w (4.20)
t j t−j t
j=0
donde ψ(B) = (cid:80)∞ ψ Bj y (cid:80)∞ |ψ | < ∞. Ponemos ψ = 1.
j=0 j j=0 j 0
Proposici´on 4.1 (Causalidad) Un modelo ARMA(p,q) es causal si y s´olo si φ(z) (cid:54)= 0 para
|z| ≤ 1. Los coeficientes del proceso lineal (4.20) se pueden determinar resolviendo
∞
(cid:88) θ(z)
ψ(z) = ψ zj = , |z| ≤ 1.
j
φ(z)
j=0
4.3. PROCESOS AUTOREGRESIVOS DE PROMEDIO MO´VIL 9
Otra manera de describir el resultado anterior es decir que un modelo ARMA es causal s´olo
cuando las ra´ıces de φ(z) est´an fuera del c´ırculo unitario, es decir, φ(z) = 0 s´olo cuando |z| > 1.
Demostraci´on. Supongamos primero que las ra´ıces de φ(z), digamos z ,z ,...,z est´an fuera
1 2 p
del c´ırculo unitario. Las escribimos en el siguiente orden: 1 < |z | ≤ |z | ≤ ··· ≤ |z |, observamos
1 2 p
que estas ra´ıces no son necesariamente distintas, y ponemos |z | = 1+ε para algu´n ε > 0. En
1
consecuencia φ(z) (cid:54)= 0 si |z| < |z | = 1+ε de modo que φ−1(z) existe y tiene un desarrollo en
1
serie de potencias
∞
1 (cid:88)
= a zj, |z| < 1+ε.
j
φ(z)
j=0
Escogemos δ de modo que 0 < δ < ε, y ponemos z = 1 + δ, que est´a dentro del c´ırculo de
convergencia. Entonces tenemos que
∞
(cid:88)
φ−1(1+δ) = a (1+δ)j < ∞. (4.21)
j
j=0
Por lo tanto podemos acotar cada sumando de (4.21) por una constante C > 0: |a (1+δ)j| < C.
j
En consecuencia |a | < C(1+δ)−j, de donde obtenemos que
j
∞
(cid:88)
|a | < ∞. (4.22)
j
j=0
Por lo tanto φ−1(B) existe y podemos aplicarlo a ambos lados del modelo ARMA φ(B)X =
t
θ(B)w para obtener
t
X = φ−1(B)φ(B)X = φ−1(B)θ(B)w
t t t
Si ponemos ahora ψ(B) = φ−1(B)θ(B) tenemos
∞
(cid:88)
X = ψ(B)w = ψ w ,
t t j t−j
j=0
dondelospesosψ sonabsolutamentesumablesysepuedenobtenerresolviendoψ(z) = φ−1(z)θ(z)
j
para |z| ≤ 1.
Para ver el rec´ıproco supongamos que X es un proceso causal, es decir, que tiene la repre-
t
sentaci´on
∞ ∞
(cid:88) (cid:88)
X = ψ w , |ψ | < ∞.
t j t−j j
j=0 j=0
En este caso escribimos X = ψ(B)w y premultiplicando por φ(B) obtenemos
t t
φ(B)X = φ(B)ψ(B)w (4.23)
t t
Adicionalmente el modelo es ARMA y se puede escribir
φ(B)X = θ(B)w . (4.24)
t t
10 CAP´ITULO 4. PROCESOS ARMA
A partir de (4.23) y (4.24) vemos que
φ(B)ψ(B)w = θ(B)w . (4.25)
t t
Sea
∞
(cid:88)
a(z) = φ(z)ψ(z) = a zj, |z| ≤ 1
j
j=0
y en consecuencia podemos escribir (4.25) como
∞ q
(cid:88) (cid:88)
a w = θ w (4.26)
j t−j j t−j
j=0 j=0
Siahoramultiplicamosambosladosde(4.26)porw parah = 0,1,2,... ytomamosesperanzas
t−h
obtenemos
(cid:40)
θ , si h = 0,1,...,q
h
a = (4.27)
h
0, si h > q.
A partir de (4.27) concluimos que
φ(z)ψ(z) = a(z) = θ(z), |z| ≤ 1. (4.28)
Si existe un nu´mero complejo z en el c´ırculo unitario tal que φ(z ) = 0, por (4.28) tendr´ıamos
0 0
θ(z ) = 0. Pero entonces φ(z) y θ(z) tendr´ıan un factor comu´n, lo que no es posible. Por lo
0
tanto podemos escribir ψ(z) = θ(z)/φ(z). Adem´as, por hip´otesis tenemos que |ψ(z)| < ∞ para
|z| < 1, y en consecuencia
(cid:12)θ(z)(cid:12)
|ψ(z)| = (cid:12) (cid:12) < ∞, para |z| < 1. (4.29)
(cid:12)φ(z)(cid:12)
(cid:4)
Ejemplos 4.7
1. El modelo AR(1) X = 0.5X +w es causal porque φ(z) = 1−0.5z tiene ra´ız z = 2,
t t−1 t−1
que es mayor que 1.
2. El modelo AR(2) X = X − 1X +w es causal. Para ver esto escribimos el modelo
t t−1 4 t−2 t
en t´erminos del operador B como
1
(B2−4B+4)X = w
t t
4
que equivale a 1(B −2)2X = w . Las ra´ıces del polinomio φ(z) = (z−2)2/4 son reales e
4 t t
iguales a 2. Como son mayores que 1, el modelo es causal.
3. El modelo X = 0.5X +0.5X +w no es causal porque tiene una ra´ız unitaria. El
t t−1 t−2 t
modelo se puede escribir como
1
− (B2+B−2)X = w
t t
2
y el polinomio
1 1
φ(z) = − (z2+z−2) = − (z−1)(z+2)
2 2
tiene ra´ıces z = 1,−2. Como hay una ra´ız unitaria, (aunque la otra sea mayor que 1) el
proceso no es causal.