Corrigé de l’examen du 26 avril 2012 (durée 2h)

Initiation aux processus : Cha^ nes de Markov (solutions) Fabrice Rossi 18 f evrier 2003 1 Espace d’ etat ni 1 1 Exercice 1 1 1 1 Question 1 Pour repr esen ter la cha^ ne, on choisit de num eroter les etats de 1 a 3, dans l’ordre des lignes (ou des

Corrigé de l’examen du 26 avril 2012 (durée 2h)

M1-Processus Année2011–2012 Corrigé de l’examen du 26 avril Dessiner le graphe de la chaîne de Markov associée en précisant les probabilités de transitions

Exercices - Laboratoire de Probabilités, Statistique et

propri et e de Markov au temps 1 permet d’a rmer par ailleurs que E 1[T 0] = 1 2 (1 + 2E 1[T 0]); ce qui implique que E 1[T 0] = +1, de sorte que la marche simple sym etrique sur Z est r ecurrente nulle 3 La marche reste en son point de d epart un nombre g eom etrique de pas de param etre

TD 9 : Chaînes de Markov Corrigé

Solution de l’exercice 3 1 Soit i 0 Par la propriété de Markov forte, conditionnellement à F T i, le processus (S T i+n) n 0 a la loi d’une marche simple issue de i, donc Se= (S T i+n i) n 0 est une marche simple sur Z conditionnellementàF T i Deplus,ona T i+1 T i = minfn 0jSe n = 1g; donc conditionnellement à F T i, la variable T i+1

Processus de Markov et applications - Association Tremplin

di˙usion, qui sont encore des processus de Markov, mais cette fois à la fois en temps continu, et à valeurs dans l’espace euclidien IRd Chaque chapitre est suivi d’un certain nombre d’exercices Certains de ces exercices sont suivis de la mention (en gras) Programmation Cela veut

Corrigé de l’examen du 18 avril 2013 (durée 2h)

M1-Processus Année2012–2013 Corrigé de l’examen du 18 avril 2013 (durée 2h) n 0 une chaîne de Markov associée à la matrice de transition Q,

Processus al eatoires et applications

Cha^ nes de Markov sur un ensemble ni 1 1 Exemples de cha^ nes de Markov Les cha^ nes de Markov sont intuitivement tr es simples a d e nir Un syst eme peut admettre un certain nombre d’ etats di erents L’ etat change au cours du temps discret A chaque changement, le nouvel etat est choisi avec une distribution de probabilit e x ee au pr

Processus markoviens de sauts - lpsmparis

Dans de nombreux modèles, les transitions entre deux instants t et t′ ne dépendent pas des dates t et t′, mais seulement du temps écoulé entre ces deux dates, c’est-à-dire de (t′ −t) C’est ce qu’on appelle l’homogénéité (temporelle) de la chaîne Déﬁnition 1 2 (Chaîne de Markov homogène) La chaîne de Markov (X t)

MAT-3071 Processus Stochastiques - univ-rennes1fr

3 Processus de Poisson Rappels sur les lois exponentielle et de Poisson, processus de comptage, d´eﬁnition d’un processus de Poisson, Processus de Poisson compos´e, Processus de renouvellement, application a la ruine d’une compagnie d’assurance 4 Chaˆınes de Markov `a temps continu

Recherche Opérationnelle - LORIA

Recherche Opérationnelle: Programmation dynamique, chaînes de Markov, ﬁles d’attente Cours de Tronc Commun Scientiﬁque FICM 2A Notes de cours et exercices corrigés

M1 - Processus Année 2011-2012

Corrigé de l"examen du 26 avril 2012(durée 2h) Tous documents interdits. Soyez concis, mais justifiez scrupuleusement ce que vous faites.

Les trois parties sont indépendantes.

Exercice 1 :On considère une chaîne de Markov(Xn)n0surf1;:::;7gde matrice de transitionQ donnée par Q=0 B

BBBBBBB@1=2 1=4 0 1=4 0 0 0

1=2 0 0 0 0 0 1=2

0 0 1=8 0 7=8 0 0

1=4 0 0 0 0 0 3=4

0 1=9 7=9 0 0 1=9 0

0 0 0 0 0 1 0

0 0 0 1 0 0 01

CCCCCCCA

Dessiner le graphe de la c haînede Mark ovasso ciéeen précisan tle sprobabilit ésde transitions

entre les différents états. b) Détermi nerles classes d"états récurren tset transitoires. c)

La c haîneest-elle irréductible ?

Calcu lerP3(X2= 6)etP1(X2= 7).

Solution de l"exercice1.

a) Graphe :1253

4761/4

1/21/97/9

1=41=21=43=41/9

17/81/21/8

b) On déduit du graphe qu"il y a deux classes récurrentes :f1;2;4;7getf6g, et une classe transiente :

f3;5g. c) Non, sinon elle n"admettrait qu"une seule classe. d) Par la formulePx(X2=y) =Q2(x;y) =P zQ(x;z)Q(z;y), on obtient P

3(X2= 6) =Q(3;5)Q(5;6) =78

19 =772 ;et P

1(X2= 7) =Q(1;2)Q(2;7) +Q(1;4)Q(4;7) =14

12 +14 34
=516 1 Exercice 2 :On définit une suite de variables aléatoires(Sn)n0par S

0=x >0p.s.;et pourn1,Sn=Sn1+"nSn1;

où("n)n1est une suite de v.a. indépendantes et identiquement distribuées de loi12 1+12

1, et où

est un réel tel quejj<1. Soit(Fn)n0la filtration naturelle de(Sn)n0,i.e.Fn=(S0;:::;Sn), pour toutn0. a)

Mon trerque (Sn)n0est une(Fn)n0-martingale.

b) Mon trer(par récurrenc e)que p ourtout n0,Sn>0. c) En déduire qu e(Sn)n0converge p.s., quandntend vers+1. d) On p ose,p ourtout n0,Zn= logSn:Montrer queZn=Zn1+ log(1 +"n). e)

En déduire qu e

Z n= logx+nX k=1log(1 +"k): f)

Calc ulerE(log(1 +"1)), et montrer que

Z nn p.s.!n!112 log(12): g)

En déduire a lorsque Snconverge p.s. quandntend vers l"infini, vers une limite à déterminer.

Solution de l"exercice2.

a)(Sn)est clairement adapté par définition de(Fn). Montrons queSnintégrable pour toutn0. S

0est intégrable car constante. Supposons par récurrence queSn1est intégrable. Alors comme

jj<1etj"nj 1p.s., on ajSnj 2jSn1j, et doncSnest intégrable. Pour toutn0, on a

E(Sn+1jFn) =E(Sn+"n+1SnjFn)

=Sn+SnE("n+1jFn)carSnestFn-mesurable =Sn+SnE("n+1); car"n+1est indépendante deFnpar construction. Comme"n+1est centrée,i.e.E("n+1) = 0, on obtientE(Sn+1jFn) =Sn, et donc(Sn)nest une martingale. b) On a S1=S0(1+"1) =x(1+"1). Or1< <1et"1=1p.s., donc1+"1>0, et comme x >0,S1est positive. Par récurrence, on suppose alorsSn>0. Et commeSn+1=Sn(1+"n+1), par la même preuve que pourS1,Snest positive. c) Comme (Sn)nest une martingale positive, elle converge p.s., car elle est bornée dansL1,i.e. sup nEjSnj<1. d)Zn= logSn= log(Sn1(1 +"n)) = logSn1+ log(1 +"n) =Zn1+ log(1 +"n). e)

P arrécu rrenceimmédiate ,on obtien tdonc

Z n= logx+nX k=1log(1 +"k): f) Comme 1 +"1>0p.s.,log(1 +"1)est bien définie p.s. et intégrable. On a alors

E(log(1 +"1)) =12

log(1 +) +12 log(1) =12 log(12): Par la loi des grands nombres, appliquée aux v.a. i.i.d. intégrableslog(1 +"i), on a 1n n X k=0log(1 +"k)!E(log(1 +"1));p.s. et comme logxn !0, on obtient bien le résultat demandé. 2 g)Comme jj<1, on a0< 2<1et0<12<1, doncZnconverge p.s. vers1etSn converge p.s. vers 0. Exercice 3 :Soient(Xn)n0,(Yn)n0,(Zn)n0des suites de variables aléatoires indépendantes et identiquement distribuées, toutes les trois indépendantes entre elles, et de même loi 12 1+12 1. On posen= (Xn;Yn;Zn), etSn=Pn k=1k, avecS0= (0;0;0)p.s. a)

Mon trerque (Sn)n0est une chaîne de Markov.

Que v autP(Pn

k=1Xk= 0)pournimpair? c)

Mon trerque P(P2n

k=1Xk= 0) =Cn2n(12 )2n. d)

En déduire q ueP(S2n= (0;0;0)) = (Cn2n(12

)2n)3. e) Donner un équiv alentquan dn! 1deP(S2n= (0;0;0)).On rappelle la formule de Stirling : n!+1nnenp2n. f)

Mon trerque (0;0;0)est transitoire.

Solution de l"exercice3.

a) Soients0;:::;sn+12Z3tels queP(S0=s0;:::;Sn=sn)>0. Alors, commeSn+1=Sn+n+1, on a P(Sn+1=sn+1jS0=s0;:::;Sn=sn) =P(Sn+n+1=sn+1jS0=s0;:::;Sn=sn) =P(sn+n+1=sn+1jS0=s0;:::;Sn=sn) =P(sn+n+1=sn+1); par indépendance den+1et deS0;:::;Sn. On obtient de même que

P(Sn+1=sn+1jSn=sn) =P(sn+n+1=sn+1);

et donc(Sn)nest une chaîne de Markov. b) CommeXnest à valeurs dansf1;+1gp.s., on ne peut revenir en 0 qu"en un nombre pair de pas, et doncP(Pn k=1Xk= 0) = 0pournimpair. c) Pour queP2n k=1Xk= 0il faut quenvariables soient égales à+1etnvariables soient égales à1. Il y a pour celaCn2npossibilités et comme les v.a.Xnsont i.i.d. on obtientP(P2n k=1Xk= 0) =Cn2n(12 )2n. d) CommefS2n= (0;0;0)g=fP2n k=1Xk= 0;P2n k=1Yk= 0;P2n k=1Zk= 0g, par indépendance desXi, Y i,Zion obtient

P(S2n= (0;0;0)) =P

2nX k=1X k= 0 P 2nX k=1Y k= 0 P 2nX k=1Z k= 0 ce qui donne le résultat par la question précédente. e) Par la formule de Stirling, on a quandn! 1, C n2n12 2n (2n)2ne2np4nn

2ne2n2n

12 2n 1pn et en passant à la puissance 3, on obtient

P(S2n= (0;0;0))1(n)3=2:

f) L"espérance du nombre de retour en(0;0;0)N0est

E(N0) =EX

n0? fS2n=0g =X n0P(S2n= (0;0;0)) et commeP(S2n= (0;0;0))1(n)3=2qui est sommable, on aE(N0)<1. Le nombre de retour en (0;0;0)est donc fini p.s., c"est-à-dire que(0;0;0)est transitoire. 3quotesdbs_dbs10.pdfusesText_16

[PDF] Corrigé de l’examen du 26 avril 2012 (durée 2h)