[PDF] Chaînes de Markov

Définition 8 1 3 On appelle réversible toute chaıne de Markov de distribution initiale π (une distribution stationnaire) positive telle que pour tout i, j ∈ E, π(i)pij

[PDF] Introduction aux chaines de Markov - CERMICS

`a valeurs dans E est appelée chaıne de Markov de matrice de transition P si ( Xn,n ∈ N) est une chaıne de Markov réversible par rapport `a π et si la loi de X0

[PDF] Chaînes de Markov et Processus markoviens de sauts Applications

Alors P n'est pas réversible par rapport à π Considérons à présent les deux problèmes suivants : 1 Etant donnée P matrice markovienne irréductible récurrente

[PDF] Processus de Markov réversibles - Numdam

, lorsque la distribution des états est la distribution stationnaire A de telles chaînes de Markov, on peut associer des systèmes dont la covariance prend une forme

Une chaîne de Markov, de distribution initiale ν et matrice de transition Soit (Xn )n∈N chaîne de Markov (µ,P) avec µ probabilité réversible Alors la chaîne

[PDF] Processus markoviens

8 Chaînes de Markov réversibles 33 8 1 Réversibilité Une chaîne de Markov en temps et espace discrets est un processus (Xn)n李0 décrit par un noyau p

[PDF] Chaînes de Markov - Institut Camille Jordan

1 7 2 Chaîne de Markov en temps continu et espace discret 27 mesure réversible non-triviale pour un noyau irréductible est nécessairement propre

[PDF] Chaˆınes de Markov

2 jan 2010 · On retrouve le fait que la distribution stationnaire du mod`ele d'Ehrenfest est binomiale Les chaınes de Markov réversibles se prêtent mieux `a

[PDF] Chaînes de Markov : théorie et applications - Département de

Mesures réversibles, II Soit P une matrice stochastique irréductible sur un espace d'états X On suppose que la chaîne de Markov associée est récurrente

Chapitre8

8.1Lamatricedetransition

auxprobl`emespos´es.

Voicilad´enition:

secondmembrede(8.1)ned´ependpasden. 203

204CHAPITRE8.CHAINESDEMARKOV

LamatriceP={pij}i,jE,o`u

p ij=P(Xn+1=j|Xn=i) dun´etatversunautre´etat,ona p ij0,et kEp ik=1 estappel´eematricestochastique.

C=ABestlamatrice{cij}i,jE,o`ucij=

kEaikbkj.Lanotationx={xi}iE kExkaki. kEaikzk. =P(Xn+1=j1,...,Xn+k=jk|Xn=i)(8.2)

P(AB|Xn=i)=P(A|Xn=i)P(B|Xn=i).

du:

VoircependantlExercice8.5.1.

deladirectiondutemps.

8.1.LAMATRICEDETRANSITION205

Ladistributiondunecmh

n(i)=P(Xn=i).

Lar`egledescausestotalesdonnen+1(j)=

iEn(i)pij,cest-`a-dire,sousformema-

Tn=T0Pn.(8.3)

autreque p ij(n)=P(Xn+m=j|Xm=i). i

1,...,in1Ep

ii1pi1i2···pin1j,

P(X0=i0,X1=i1,...,Xk=ik)

etdonc,danslecasdunecmh, probabilit´edelacmh.Donc: noteraPµ(A)=

206CHAPITRE8.CHAINESDEMARKOV

R´ecurrencesmarkoviennes

blanc.Pluspr´ecis´ement,

L´equationder´ecurrence

X n+1=f(Xn,Zn+1)(8.5) d´enitalorsunecmh. i

Explicitement:

p ij=P(f(i,Z1)=j).(8.6)

P(Zn=+1)=p,

X n+1=Xn+Zn+1

8.1.LAMATRICEDETRANSITION207

301
0 0 011 1 012 a

10011110

30111111010

33
b 3011
212
1 21
21
21
21
212
2 c

Unautomatestochastique

a initial0)

0100123100123123010.

seulementdanscettecirconstance.

208CHAPITRE8.CHAINESDEMARKOV

commedansleTh´eor`eme8.1.3. X n+1=jsij1 k=0p

Xnk k=0p Xnk, plusieursreprises. consid´erablementlaport´ee. =P(Zn+1=k|Xn=i), p ij=P(f(i,Z1)=j|X0=i).
D´emonstration.Exercice8.5.3.

8.1.LAMATRICEDETRANSITION209

N,soiti+1(ellefut
N. X n+1=Xn+Zn+1, o`uZn{1,+1}etP(Zn+1=1|Xn=i)=i
N.Lestermesnonnulsdelamatrice
detransitionsontdonc p i,i+1=Ni
N,pi,i1=iN.

Analyse`aunpas
ensembled´etatsAferm´e( jApij=1pourtoutiA)etlestempsmoyensavant X
Agagneestu(a)=P(XT=c|X0=a).

12345678910T=11c=a+b
0 aAgagne
LaruinedujoueurB

210CHAPITRE8.CHAINESDEMARKOV
u(i)=P(XT=c|X0=i) X
1ic1,
u(i)=pu(i+1)+qu(i1), pr p,sip=q,etuneracine double,r1=1,sip=q=1 i
2.Tenantcomptedes
u(i)=1(q p)i
1(qp)c,
etpourp=q=1 2, u(i)=i c.
Danslecasp=q=1
v(i)=ci estdememepourp=q. der´ecurrence m(i)=1+pm(i+1)+qm(i1) conditionsauxfronti`eressont m(0)=0,m(c)=0.
8.1.LAMATRICEDETRANSITION211
m(i1)).Notant y i=m(i)m(i1), ona,pour1ic1,
1=pyi+1qyi
et m(i)=y1+y2+···+yi.
2.Pourcela,onlar´e´ecrit

1=1

2y212y1,

1=1

2y312y2,

1=1

2yi12yi1,
etdonc,ensommant,
(i1)=1

2yi12y1,
cest-`a-dire,pour1ic, y i=y12(i1). onobtient m(i)=i(ci).
212CHAPITRE8.CHAINESDEMARKOV
JEUB
40151540

40030151530040

3001515030

150015

00ppp
pp p p pp ppp p q q q q q q qq q qqq qqp qpJEUAAV.A´EGALIT´EAV.B a
1123451qqq
ppp b
Tennis:unjeusanslar`egledutie-break

8.1.LAMATRICEDETRANSITION213
deuxi`eme´etaped´ebuteeni, b
1=1,b5=0
et b
2=q+pb3,
b
3=qb2+pb4,
b
4=qb3.
pourp=q, (b1,b2,b3,b4,b5)=
1,q1pq

12pq,q212pq,q312pq,0
i=1p(i)bi,o`up(i)estlaprobabilit´e p(1)=q4(1+4p).
Lelecteurpourraterminerlescalculs.

Distributionstationnaire
globale
T=TP(8.7)
(i)= jE(j)pji. aplus.Eneet,danscecas, =(i0)pi0i1...pik1ik
214CHAPITRE8.CHAINESDEMARKOV
lacmheststationnaire. transitionest
P=1
1 (1)=(1)(1)+(2), (2)=(1)+(2)(1). (1)= +,(2)=+. (i)=(i1)
1i1
N +(i+1)i+1N etpourles´etatsextremes, (0)=(1)1
N,(N)=(N1)1N.
pourobtenir (i)=(0)N i 1= N i=0(i)=(0)N i=0 N i =(0)2N.
8.1.LAMATRICEDETRANSITION215
2: (i)=1 2N N i lescompartimentsaveclaprobabilit´e1
2pourchaquecompartiment.

8.5.10).
lamatricedetransition: P= 01 q 1r1p1 q
2r2p2...
q iripi......... q
N1rN1pN1
10 globalepourles´etatsi=0,Nsont: (i)=pi1(i1)+ri(i)+qi+1(i+1), etpourles´etats0etN: (0)=(1)q1,(N)=(N1)pN1 termes,ona,pour2iN1, et (1)q1(0)=0, (2)q2(1)p1=(1)q1(0).
216CHAPITRE8.CHAINESDEMARKOV

Donc,(1)q1=(0),etpour2iN1,
(i)qi=(i1)pi1.
Cecidonne
(1)=(0)1 q1, etpour2iN, (i)=(0)p1p2···pi1 q1q2···qi.(8.8) i=0(i)=1(estuneprobabilit´e),ce quidonne, (0)0 1+1 =1.(8.9)
Retournementdutemps
par (i)qij=(j)pji,(8.10) estunematricestochastique.Eneet,quotesdbs_dbs28.pdfusesText_34

[PDF] [PDF] Chaînes de Markov - DI ENS

Chapitre8

8.1Lamatricedetransition

Voicilad´enition:

204CHAPITRE8.CHAINESDEMARKOV

LamatriceP={pij}i,jE,o`u

C=ABestlamatrice{cij}i,jE,o`ucij=

P(AB|Xn=i)=P(A|Xn=i)P(B|Xn=i).

VoircependantlExercice8.5.1.

8.1.LAMATRICEDETRANSITION205

Ladistributiondunecmh

Lar`egledescausestotalesdonnen+1(j)=

Tn=T0Pn.(8.3)

1,...,in1Ep

P(X0=i0,X1=i1,...,Xk=ik)

206CHAPITRE8.CHAINESDEMARKOV

R´ecurrencesmarkoviennes

L´equationder´ecurrence

Explicitement:

P(Zn=+1)=p,

8.1.LAMATRICEDETRANSITION207

10011110

30111111010

Unautomatestochastique

0100123100123123010.

208CHAPITRE8.CHAINESDEMARKOV

D´emonstration.Exercice8.5.3.

8.1.LAMATRICEDETRANSITION209

N,soiti+1(ellefut

N.Lestermesnonnulsdelamatrice

N,pi,i1=iN.

Analyse`aunpas

Agagneestu(a)=P(XT=c|X0=a).

12345678910T=11c=a+b

LaruinedujoueurB

210CHAPITRE8.CHAINESDEMARKOV

1ic1,

2.Tenantcomptedes

1(qp)c,

Danslecasp=q=1

8.1.LAMATRICEDETRANSITION211

1=pyi+1qyi

2.Pourcela,onlar´e´ecrit

1=1

2y212y1,

1=1

2y312y2,

1=1

2yi12yi1,

(i1)=1

2yi12y1,

212CHAPITRE8.CHAINESDEMARKOV

40151540

40030151530040

3001515030

150015

00ppp

1123451qqq

Tennis:unjeusanslar`egledutie-break

8.1.LAMATRICEDETRANSITION213

1=1,b5=0

2=q+pb3,

3=qb2+pb4,

4=qb3.

1,q1pq

12pq,q212pq,q312pq,0

Lelecteurpourraterminerlescalculs.

Distributionstationnaire

T=TP(8.7)

214CHAPITRE8.CHAINESDEMARKOV

P=1

1i1

N,(N)=(N1)1N.

8.1.LAMATRICEDETRANSITION215

2pourchaquecompartiment.

8.5.10).

2r2p2...

N1rN1pN1

216CHAPITRE8.CHAINESDEMARKOV

Donc,(1)q1=(0),etpour2iN1,

Voicilad´enition:

VoircependantlExercice8.5.1.

Ladistributiondunecmh

1,...,in1Ep

L´equationder´ecurrence

N,pi,i1=iN.

1ic1,

1(qp)c,

1=pyi+1qyi

1=1

2y212y1,

1=1

2y312y2,

1=1

2yi12yi1,

(i1)=1

2yi12y1,

40151540

40030151530040

3001515030

150015

00ppp

1,q1pq

12pq,q212pq,q312pq,0

P=1

1i1

N,(N)=(N1)1N.

N1rN1pN1

Donc,(1)q1=(0),etpour2iN1,