Corrigé de l’examen du 26 avril 2012 (durée 2h)

Initiation aux processus : Cha^ nes de Markov (solutions) Fabrice Rossi 18 f evrier 2003 1 Espace d’ etat ni 1 1 Exercice 1 1 1 1 Question 1 Pour repr esen ter la cha^ ne, on choisit de num eroter les etats de 1 a 3, dans l’ordre des lignes (ou des

Les chaînes de Markov Exercices solutionnØs

Les chaînes de Markov Exercices solutionnØs GeneviŁve Gauthier derniŁre mise à jour : 16 octobre 2000 ProblŁme 1 (30 points) À partir des trois graphes de transition suiv-ants, reconstituez les chaînes de Markov qui leur sont associØes (espace d™Øtats et matrice de transition) Pour chacune de ces chaînes de Markov, faites-en

Exercices sur les chaînes de Markov

Exercices sur les chaînes de Markov 1 Exemples à espace d’états finis Exercice 1 On dispose de deux pièces, une non pipée, et une qui est truquée et est “Face” des deux côtés On commence par en choisir une des deux au hasard (de manière uniforme) et ensuite on lance celle-làuneinﬁnitédefois

Feuille d’exercices &# 3 : Chaînes de Markov

Master 1 Mathématiques Chaînes de Markov et martingales Feuille d’exercices # 3 : Chaînes de Markov Exercice 1 Sous-suites de chaînes de Markov 1 Soient U,V,W trois variables aléatoires à valeurs dans E ensemble dénombrable On suppose que pour tout u ∈ Nla fonction (v,w) → P(U = uV = v,W = w) est bien déﬁnie et ne dépend pas

Chaînes de Markov - Université Paris-Saclay

Chaînes de Markov Résumé Une chaîne de Markov est un processus aléatoire (Xn)n2N dont les transitions sont données par une matrice stochastique P(Xn,Xn+1) Ces processus vériﬁent la propriété de Markov, c’est-à-dire qu’observés àpartird’untemps(d’arrêt)T, (XT+n)n2N ne dépend que de XT et est de nouveau une chaîne de

Feuille d’exercices n 2 : Chaînes de Markov : exemples et

0 t n est encore une chaîne de Markov de matrice de transition Q et de mesure initiale à préciser Correction Cet exercice montre que la chaîne de Markov renversée en temps (à horizon ﬁni donc) est encore une chaîne de Markov si on la considère sous sa mesure stationnaire, un

TD 9 : Chaînes de Markov Corrigé

Solution de l’exercice 3 1 Soit i 0 Par la propriété de Markov forte, conditionnellement à F T i, le processus (S T i+n) n 0 a la loi d’une marche simple issue de i, donc Se= (S T i+n i) n 0 est une marche simple sur Z conditionnellementàF T i Deplus,ona T i+1 T i = minfn 0jSe n = 1g; donc conditionnellement à F T i, la variable T i+1

TP8/9 : Chaînes de Markov

Les chaînes de Markov aux concours (EDHEC 2017) L’épreuve EDHEC 2017 portait sur le déplacement au cours du temps d’un mobile sur les 4 sommets d’uncarré Voiciuneretranscriptiondel’énoncé

INTRODUCTION AUX CHAÎNES DE MARKOV

Corrigé de l’examen du 26 avril 2012 (durée 2h)

Corrigé de l’examen du 26 avril 2012 Exercice 1 : OnconsidèreunechaînedeMarkov(X Dessiner le graphe de la chaîne de Markov associée en précisant les

M1 - Processus Année 2011-2012

Corrigé de l"examen du 26 avril 2012(durée 2h) Tous documents interdits. Soyez concis, mais justifiez scrupuleusement ce que vous faites.

Les trois parties sont indépendantes.

Exercice 1 :On considère une chaîne de Markov(Xn)n0surf1;:::;7gde matrice de transitionQ donnée par Q=0 B

BBBBBBB@1=2 1=4 0 1=4 0 0 0

1=2 0 0 0 0 0 1=2

0 0 1=8 0 7=8 0 0

1=4 0 0 0 0 0 3=4

0 1=9 7=9 0 0 1=9 0

0 0 0 0 0 1 0

0 0 0 1 0 0 01

CCCCCCCA

Dessiner le graphe de la c haînede Mark ovasso ciéeen précisan tle sprobabilit ésde transitions

entre les différents états. b) Détermi nerles classes d"états récurren tset transitoires. c)

La c haîneest-elle irréductible ?

Calcu lerP3(X2= 6)etP1(X2= 7).

Solution de l"exercice1.

a) Graphe :1253

4761/4

1/21/97/9

1=41=21=43=41/9

17/81/21/8

b) On déduit du graphe qu"il y a deux classes récurrentes :f1;2;4;7getf6g, et une classe transiente :

f3;5g. c) Non, sinon elle n"admettrait qu"une seule classe. d) Par la formulePx(X2=y) =Q2(x;y) =P zQ(x;z)Q(z;y), on obtient P

3(X2= 6) =Q(3;5)Q(5;6) =78

19 =772 ;et P

1(X2= 7) =Q(1;2)Q(2;7) +Q(1;4)Q(4;7) =14

12 +14 34
=516 1 Exercice 2 :On définit une suite de variables aléatoires(Sn)n0par S

0=x >0p.s.;et pourn1,Sn=Sn1+"nSn1;

où("n)n1est une suite de v.a. indépendantes et identiquement distribuées de loi12 1+12

1, et où

est un réel tel quejj<1. Soit(Fn)n0la filtration naturelle de(Sn)n0,i.e.Fn=(S0;:::;Sn), pour toutn0. a)

Mon trerque (Sn)n0est une(Fn)n0-martingale.

b) Mon trer(par récurrenc e)que p ourtout n0,Sn>0. c) En déduire qu e(Sn)n0converge p.s., quandntend vers+1. d) On p ose,p ourtout n0,Zn= logSn:Montrer queZn=Zn1+ log(1 +"n). e)

En déduire qu e

Z n= logx+nX k=1log(1 +"k): f)

Calc ulerE(log(1 +"1)), et montrer que

Z nn p.s.!n!112 log(12): g)

En déduire a lorsque Snconverge p.s. quandntend vers l"infini, vers une limite à déterminer.

Solution de l"exercice2.

a)(Sn)est clairement adapté par définition de(Fn). Montrons queSnintégrable pour toutn0. S

0est intégrable car constante. Supposons par récurrence queSn1est intégrable. Alors comme

jj<1etj"nj 1p.s., on ajSnj 2jSn1j, et doncSnest intégrable. Pour toutn0, on a

E(Sn+1jFn) =E(Sn+"n+1SnjFn)

=Sn+SnE("n+1jFn)carSnestFn-mesurable =Sn+SnE("n+1); car"n+1est indépendante deFnpar construction. Comme"n+1est centrée,i.e.E("n+1) = 0, on obtientE(Sn+1jFn) =Sn, et donc(Sn)nest une martingale. b) On a S1=S0(1+"1) =x(1+"1). Or1< <1et"1=1p.s., donc1+"1>0, et comme x >0,S1est positive. Par récurrence, on suppose alorsSn>0. Et commeSn+1=Sn(1+"n+1), par la même preuve que pourS1,Snest positive. c) Comme (Sn)nest une martingale positive, elle converge p.s., car elle est bornée dansL1,i.e. sup nEjSnj<1. d)Zn= logSn= log(Sn1(1 +"n)) = logSn1+ log(1 +"n) =Zn1+ log(1 +"n). e)

P arrécu rrenceimmédiate ,on obtien tdonc

Z n= logx+nX k=1log(1 +"k): f) Comme 1 +"1>0p.s.,log(1 +"1)est bien définie p.s. et intégrable. On a alors

E(log(1 +"1)) =12

log(1 +) +12 log(1) =12 log(12): Par la loi des grands nombres, appliquée aux v.a. i.i.d. intégrableslog(1 +"i), on a 1n n X k=0log(1 +"k)!E(log(1 +"1));p.s. et comme logxn !0, on obtient bien le résultat demandé. 2 g)Comme jj<1, on a0< 2<1et0<12<1, doncZnconverge p.s. vers1etSn converge p.s. vers 0. Exercice 3 :Soient(Xn)n0,(Yn)n0,(Zn)n0des suites de variables aléatoires indépendantes et identiquement distribuées, toutes les trois indépendantes entre elles, et de même loi 12 1+12 1. On posen= (Xn;Yn;Zn), etSn=Pn k=1k, avecS0= (0;0;0)p.s. a)

Mon trerque (Sn)n0est une chaîne de Markov.

Que v autP(Pn

k=1Xk= 0)pournimpair? c)

Mon trerque P(P2n

k=1Xk= 0) =Cn2n(12 )2n. d)

En déduire q ueP(S2n= (0;0;0)) = (Cn2n(12

)2n)3. e) Donner un équiv alentquan dn! 1deP(S2n= (0;0;0)).On rappelle la formule de Stirling : n!+1nnenp2n. f)

Mon trerque (0;0;0)est transitoire.

Solution de l"exercice3.

a) Soients0;:::;sn+12Z3tels queP(S0=s0;:::;Sn=sn)>0. Alors, commeSn+1=Sn+n+1, on a P(Sn+1=sn+1jS0=s0;:::;Sn=sn) =P(Sn+n+1=sn+1jS0=s0;:::;Sn=sn) =P(sn+n+1=sn+1jS0=s0;:::;Sn=sn) =P(sn+n+1=sn+1); par indépendance den+1et deS0;:::;Sn. On obtient de même que

P(Sn+1=sn+1jSn=sn) =P(sn+n+1=sn+1);

et donc(Sn)nest une chaîne de Markov. b) CommeXnest à valeurs dansf1;+1gp.s., on ne peut revenir en 0 qu"en un nombre pair de pas, et doncP(Pn k=1Xk= 0) = 0pournimpair. c) Pour queP2n k=1Xk= 0il faut quenvariables soient égales à+1etnvariables soient égales à1. Il y a pour celaCn2npossibilités et comme les v.a.Xnsont i.i.d. on obtientP(P2n k=1Xk= 0) =Cn2n(12 )2n. d) CommefS2n= (0;0;0)g=fP2n k=1Xk= 0;P2n k=1Yk= 0;P2n k=1Zk= 0g, par indépendance desXi, Y i,Zion obtient

P(S2n= (0;0;0)) =P

2nX k=1X k= 0 P 2nX k=1Y k= 0 P 2nX k=1Z k= 0 ce qui donne le résultat par la question précédente. e) Par la formule de Stirling, on a quandn! 1, C n2n12 2n (2n)2ne2np4nn

2ne2n2n

12 2n 1pn et en passant à la puissance 3, on obtient

P(S2n= (0;0;0))1(n)3=2:

f) L"espérance du nombre de retour en(0;0;0)N0est

E(N0) =EX

n0? fS2n=0g =X n0P(S2n= (0;0;0)) et commeP(S2n= (0;0;0))1(n)3=2qui est sommable, on aE(N0)<1. Le nombre de retour en (0;0;0)est donc fini p.s., c"est-à-dire que(0;0;0)est transitoire. 3quotesdbs_dbs22.pdfusesText_28

[PDF] Corrigé de l’examen du 26 avril 2012 (durée 2h)