Der ARMA Prozess

36 Pages·2009·0.23 MB·German

Dynamische Systeme und
Zeitreihenanalyse
Autoregressive moving average Modelle
Kapitel 12
StatistikundMathematik–WUWien
MichaelHauser
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.0/??
Lernziele
Stationäreundnicht-stationäreProzesse:
whitenoiseundrandomwalk
ARMA:AutoregressivemovingaverageModelle
Modellbildung
SchätzungvonARMAModellen
ModellwahlundModellüberprüfung
Prognose
IntegrierteARMAModelle:ARIMA
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.1/??
Stationäre Prozesse
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.2/??
Schwach stationäre Prozesse
WirbetrachtennunZufallsvariable y undnennendieFolge
t
y , t=..., 2, 1,0,1,2,...
t
{ } − −
einenstochastischenProzessindiskreterZeit.
ProzessemitdenfolgendenEigenschaftenheißenkovarianzoder
schwachstationa¨r:
E(y )=E(y )=µ mittelwertstationa¨r
t t s
−
kovarianzstationa¨r
V(y )= E(y µ)2 =V(y )=σ2
t t− t−s y
Cov(y ,y )= E(y µ)(y µ)=Cov(y ,y )=γ
t t−s t− t−s− t−j t−s−j s
µ, σy2, γs sindkonstantundunabhängigvont.
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.3/??
ACF
DieKovarianzistsymmetrisch:
Cov(yt,yt s)=Cov(yt s,yt)=Cov(yt,yt+s)=γs
− −
DieAutokorrelationzwischen y und y istdefiniertals
t t s
−
γ
ρs = γ0s =Corr(yt,yt−s)
γ =σ2. γ sinddieKovarianzen.
0 y s
ImSpeziellengilt: ρ =1 und 1<ρ <1.
0 s
−
Fasstmandieρs, s 0zusammen,nenntmansie
≥
Autokorrelationsfunktion,ACF:
1, ρ , ρ , ρ , ...
1 2 3
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.4/??
Beispiel: White noise, WN
EinProzess y y =ǫ mit
t t t
{ }
E(ǫt)=0, V(ǫt)=σǫ2,
ρ =1, ρ =0, ρ =0, ρ =0, ...
0 1 2 3
heißtwhitenoise,WN,oderWeißesRauschen.
DerwhitenoiseProzessist(kovarianz)stationär.
Bemerkung:Fürǫ gilt:
t
V(ǫ)= E[(ǫ E[ǫ])2]=E[ǫ2]
t t− t t
Fürs =0:
6
γ(s)=Cov(ǫt,ǫt+s)=E[(ǫt E[ǫt])(ǫt+s E[ǫt+s])
− −
=E(ǫtǫt+s)=0
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.5/??
Wold Darstellung
WoldDarstellungeinesstationa¨renProzesses
JederschwachstationäreProzess y lässtsichalsunendliche
t
{ }
gewichteteSummeeinesvergangenenwhitenoiseProzesses
darstellen.
∞
(cid:229)
y µ= ψǫ
t− j t−j
j=0
Dieψ heißenImpulse-response-KoeffizientenoderalsGanzes
j
ψ, j 0 Transferfunktion,Impuls-Antwort-Funktion.Sie
{ j ≥ }
erfüllendieBedingung
∞
(cid:229) ψ2 <∞
j
j=0
Dh,dieψ sindquadratischsummierbar.
j
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.6/??
Wold Darstellung (Fs)
AusE(ǫt)=0folgt
E(y )=µ
t
AusderquadratischenSummierbarkeitderψ folgt
j
V(y )=(cid:229) ψ2σ2 =σ2(cid:229) ψ2
t j ǫ ǫ j
dadieǫ unkorreliertsind.
t
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.7/??
Lagoperator, Differenzenoperator
DerLagoperator Listdefiniertals(vgl∆beiLDGen)
Lyt = yt 1, L2yt = yt 2, L3yt = yt 3, ...
− − −
ZumBeispielist
(1 L)yt = yt yt 1, oder
− − −
(1 α1L α2L2 α3L3)yt = yt α1yt 1 α2yt 2 α3yt 3.
− − − − − − − − −
(1 α L α L2 α L3) heißtauchLagpolynomderOrdnung3.
1 2 3
− − −
DerDifferenzenoperatoristdefiniertals
∆=1 L
−
∆yt =(1 L)yt = yt yt 1
− − −
∆2yt =(1 L)2yt =(1 2L+L2)yt = yt 2yt 1+yt 2
− − − − −
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.8/??
Wold Darstellung mittels Lagoperator
DieWoldDarstellungkannauchmitHilfeeinesunendlichen
LagpolynomsΨ(L)angegebenwerden.
∞ ∞ ∞
y µ= (cid:229) ψǫ = (cid:229) ψ (Ljǫ)= (cid:229) (ψ Lj)ǫ =Ψ(L)ǫ
t− j t−j j t j t t
j=0 j=0 j=0
wobei (cid:229) ∞ ψ Lj =Ψ(L) ist.
j=0 j
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.9/??
Ein nicht-stationärer Prozess:
Der random walk, RW
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.10/??
Rekursion für den random walk
Seiǫ whitenoise.EinProzess y mit
t t
{ }
y = y +ǫ
t t 1 t
−
heißtrandomwalk,RW,(ohneDrift).
EinProzess y mit
t
{ }
y =c+y +ǫ
t t 1 t
−
heißtrandomwalkmitDrift.cistderDriftparameter.
DerProzessistinrekursiverDarstellunggegeben.
Einrandomwalkistnichtstationa¨r.
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.11/??
Explizite Darstellung des RWs
GehenwirvoneinemRWaus,derint=0mit y (fix)startet:
0
y
0
y = y +ǫ
1 0 1
y = y +ǫ =(y +ǫ )+ǫ = y +(ǫ +ǫ )
2 1 2 0 1 2 0 1 2
y = y +ǫ =(y +ǫ )+ǫ = y +(ǫ +ǫ +ǫ )
3 2 3 1 2 3 0 1 2 3
...
y = y +ǫ = y +(cid:229) t ǫ
t t 1 t 0 j=1 j
−
ExpliziteDarstellungdesRWs:
t
(cid:229)
y = y + ǫ
t 0 j
j=1
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.12/??
Bedingte und unbedingte Erwartung
SeidieInformationsmenge I
t
It = yt,ǫt, yt 1,ǫt 1,...,y1,ǫ1, y0
{ − − }
DiebedingteErwartungvon y bezüglichderInformationsmengen
t
I , I und I ist
t 1 t s 0
− − E(y I )= y
t t 1 t 1
| − −
E(y I )= y
t t s t s
| − −
E(y I )= y
t 0 0
|
DieAbhängigkeitderbedingtenErwartungvomAnfangswert
verschwindetnichtmits ∞.
→
DieunbedingteErwartungE(y )existiertnicht.
t
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.13/??
Berechnungen
Esgiltfürǫ, y und2beliebigeZVenXundY:
t t
E(ǫ I )=E(ǫ)=0, s>1
t t s t
| −
Cov(ǫt,ǫt s)=Cov(ǫt,yt s)=0 s>1
− −
E(a+bX+cY)= a+bE(X)+cE(Y)
V(a+bX+cY)=b2V(X)+2bcCov(X,Y)+c2V(Y)
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.14/??
Berechnungen (Fs)
I : y = y +ǫ
t 1 t t 1 t
− −
E(y y )= y +E(ǫ)= y
t t 1 t 1 t t 1
| − − −
V(y y )=σ2
t t 1 ǫ
| −
I : y = y +(cid:229) t ǫ
0 t 0 j=1 j
E(y y )= y +E((cid:229) t ǫ)= y
t| 0 0 j=1 j 0
V(y y )=V((cid:229) t ǫ)=E((cid:229) t ǫ)2 = E((cid:229) t ǫ2)=tσ2
t| 0 j=1 j j=1 j j=1 j ǫ
γ(t,t+s)=Cov(yt,yt+s): yt+s = yt+(cid:229) sj=1ǫt+j
Cov(yt,yt+s)=Cov(yt,yt+(cid:229) sj=1ǫt+j)=Cov(yt,yt)=V(yt)
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.15/??
Bedingte und unbedingte Varianz
DiebedingteVarianzist
V(y I )=σ2
t t 1 ǫ
| −
V(y I )=sσ2
t t s ǫ
| −
V(y I )=tσ2
t 0 ǫ
|
DiebedingteVarianzistnichtkonstantundnimmtausgehendvon
t=0mittzu.
DieunbedingteVarianzexistiertnicht.
DieKovarianzCov(yt,yt+s I0)ist tσǫ2.
|
DieKorrelationCorr(yt,yt+s I0)=√t/√t+s.
|
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.16/??
Explizite Darstellung des RWs mit Drift
GehenwirvoneinemRWmitDriftaus,derint=0mit y fix
0
startet:
y
0
y =c+y +ǫ
1 0 1
y =c+y +ǫ =c+(c+y +ǫ )+ǫ =2c+y +(ǫ +ǫ )
2 1 2 0 1 2 0 1 2
y =c+y +ǫ =c+(c+y +ǫ )+ǫ =3c+y +(ǫ +ǫ +ǫ )
3 2 3 1 2 3 0 1 2 3
...
y =c+y +ǫ = y +ct+(cid:229) t ǫ
t t 1 t 0 j=1 j
−
ExpliziteDarstellungdesRWsmitDrift:
t
(cid:229)
y = y +ct+ ǫ
t 0 j
j=1
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.17/??
Bedingte/unbed Erwartung, RW mit Drift
SeidieInformationsmenge I
t
It = yt,ǫt, yt 1,ǫt 1,...,y1,ǫ1, y0
{ − − }
DiebedingteErwartungvon y bezüglichderInformationsmengen
t
I , I und I ist
t 1 t s 0
− −
E(y I )=c+y
t t 1 t 1
| − −
E(y I )=sc+y
t t s t s
| − −
E(y I )=tc+y
t 0 0
|
DieAbhängigkeitderbedingtenErwartungvomAnfangswert
verschwindetnichtmits ∞.(vglLDG y y =c)
t t 1
→ − −
DieunbedingteErwartungE(y )existiertnicht.
t
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.18/??
Bedingte/unbed Varianz, RW mit Drift
DiebedingteVarianzist
V(y I )=σ2
t t 1 ǫ
| −
V(y I )=sσ2
t t s ǫ
| −
V(y I )=tσ2
t 0 ǫ
|
DiebedingteVarianzistnichtkonstantundnimmtausgehendvon
t=0mittzu.
DieunbedingteVarianzexistiertnicht.
DieKovarianzzwischent,t+sisttσ2
ǫ
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.19/??
RW und dynamische Multiplikator
DerrandomwalkProzesshatdieEigenschaft,dassvergangene
Schocksnichtvergessenwerden.Jeder(vergangene)Schock,
ǫ ,gehtzurGänzeindasaktuelleNiveau, y ,ein.KeinSchock
t s t
−
wirdvergessen.DerdynamischeMultiplikatoristEins.
yt = y0+ct+ (cid:229) t ǫj : ¶ ǫ¶ yt =1
j=1 t−s
MansagtauchdiePersistenzeinesSchocksistEins.
MitdiesemModellkönnenirreversibleo¨konomischeEntscheidungen
beschriebenwerden.
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.20/??
Der ARMA Prozess
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.21/??
ARMA
GehorchteinschwachstationärerProzessdemBildungsgesetz
α (L)(y µ)=β(L)ǫ
p t q t
−
soheißterARMA(p,q),autoregressivermovingaverageProzess
derOrdnung(p,q).
Wobei
αp(L)=1 α1L ... αpLp
− − −
β(L)=1 β L ... β Lq
q 1 q
− − −
α (L)dasAR-PolynomderOrdnung pund
p
β(L)dasMA-PolynomderOrdnungqist.
q
ǫ istwhitenoise.
t
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.22/??
Beispiele
Seiǫ WN.
t
ARMA(0,0),µ=0: y =ǫ whitenoise
t t
ARMA(0,0),µ=0: y =µ+ǫ
t t
6
AR(1): (1 α1L)(yt µ)=ǫt
− −
MA(1): (y µ)=(1 β L)ǫ
t 1 t
− −
ARMA(1,1): (1 α1L)(yt µ)=(1 β1L)ǫt
− − −
ARMA(1,2): (1 α1L)(yt µ)=(1 β1L β2L2)ǫt
− − − −
AR(12): (1 α L ... α L12)(y µ)=ǫ
1 12 t t
− − − −
zBfürMonatsdatenmitSaison
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.23/??
Vergleich ARMA und Wold Darstellung
ARMAModellelieferneineApproximationderΨ(L)-Polynomsaus
derWoldDarstellungmittelseinerrationalenFunktion.
DividiertmandieDefinitionsgleichungeinesARMAModellsdurch
dasAR-Polynom(soferndaszulässigist),soerhältmanmit
α (L)(y µ)=β(L)ǫ
p t q t
−
β(L)
y µ= ǫ =Ψ(L)ǫ
t− α(L) t t
EigentlichwerdenwirdaswahreΨ(L),daswiriAnichtkennen,nur
durchdierationaleFunktionapproximieren.
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.24/??
Vergleich ARMA und Wold Darstellung (Fs)
Beispiele:
∞
ARMA(1,0): y µ= 1 ǫ = (cid:229) αjǫ =Ψ(L)ǫ
t− 1−α1L t j=0 1 t−j t
1 β L
ARMA(1,1): y µ= − 1 ǫ =Ψ(L)ǫ
t− 1 α L t t
1
−
MA(∞): y µ=(1 β L β L2 ...)ǫ
t 1 2 t
− − − −
yt µ=β∞(L)ǫt =Ψ(L)ǫt
−
Bemerkung:(cid:229) ∞ qi =1/(1 q)
i=0 −
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.25/??
Vergleich ARMA und Wold Darstellung (Fs)
MittelsARMA-Modellenkönnenalle(schwach)stationären
Prozessedargestelltwerden,soferndieOrdnungderPolynome
großgenuggewähltwird: p ∞oderq ∞.
→ →
InderRegelmussmanannehmen,dassderzugrundeliegende
Prozesssehrkompliziertist,dasseigentlicheinMA(∞)zur
Modellierungnotwendigist.
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.26/??
Kürzende Wurzeln
Zubeachtenist,dasseszukeinerKu¨rzungderFaktorenim
Zähler-undimNennerpolynomkommt.
Zerlegungvonα (L)undβ(L)inLinearfaktoren:
p q
αp(L)=(1−zα1 L)·...·(1−zαpL)
βq(L)=(1−zβ1 L)·...·(1−zβq L)
β(L) (1 zβL) ... (1 zβL)
y µ= q ǫ = − 1 · · − q ǫ
t− α (L) t (1 zαL) ... (1 zαL) t
p − 1 · · − p
KürzendeWurzelnliegenvor,wennfüreinibzw jgilt:
zα= zβ
i j
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.27/??
Kürzende Wurzeln - Beispiel
Beispiel:ARMA(1,1)mitα =β isteinARMA(0,0).
1 1
1 β L
y µ= − 1 ǫ =ǫ
t− 1 α L t t
1
−
DieParameterα undβ sindnichtidentifiziert.
1 1
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.28/??
Modellbildung, principle of parsimony
Modellbildung
DaszentraleKonzeptderModellbildungist,den
zugrundeliegendenProzessdurcheinsparsamparametrisiertes
ARMA-Modell(ARMA-ModellmitniedrigerOrdnung)zu
approximieren:principleofparsimony.
DasProblembestehtdarinein“gutes”undzugleichsparsam
parametrisiertesModellzufinden.
(Parsimony...Sparsamkeit)
[email protected]–(2003) DynamischeSystemeundZeitreihenanalyse//AutoregressivemovingaverageModelle–12–p.29/??