RÉCURRENCE ET TRANSIENCE Master MIMSE Bordeaux Dans PDF

1 Définition

récurrentes d'ordre 1. Dans la suite on ne considèrera que des chaînes de Markov homogènes

Chaînes de Markov

Pour une chaîne de Markov irréductible récurrente la mesure empirique et la loi marginale du pro- cessus convergent soit vers l'unique mesure de probabilité P-

RÉCURRENCE ET TRANSIENCE Master MIMSE Bordeaux Dans

Un point i de E est dit récurrent pour la chaîne de Markov. (Xn)n?N si Pi(Ni = ?)=1. Il est dit transient si Pi(Ni = ?)=0. Lemme 1.4. Pour r ? 1 Sr.

Chaînes de Markov.

Une suite récurrente aléatoire sur un espace E est une suite de v.a. Une chaîne de Markov de distribution initiale ? et matrice de transition.

Chapitre I - Introduction aux chaines de Markov

`a valeurs dans E est appelée cha?ne de Markov de matrice de transition P si Une cha?ne de Markov est dite transiente (resp. récurrente) si tous les ...

Chaˆ?nes de Markov 2

Une cha?ne de Markov homog`ene `a valeurs réelles peut être vue (en loi ) comme une suite récurrente définie comme dans la proposition 2. Démonstration. Soit (

CHAÎNES DE MARKOV

Soit Xn est une chaîne de Markov de matrice de transition P et soit ?0 la loi de X0. On vérifie avec le graphe qu'il y a une seule classe (récurrente)

Chaînes de Markov et Processus markoviens de sauts. Applications

Théorème 4 Soit (Xn)n?0 une chaîne de Markov de matrice de transition P récurrente ir- réductible. Alors il existe une unique mesure invariante strictement

Théorie des chaînes de Markov

matrice stochastique sur X. Une chaîne de Markov de matrice de transition P Soit x un état récurrent d'une chaîne de Markov (Xn)n?N. Sous la loi Px ...

3 Mesures invariantes

On va voir qu'une chaîne de Markov récurrente admet toujours une mesure invariante (non nulle) et celle-ci sera unique à un facteur près dès lors que la

[PDF] CHAÎNES DE MARKOV - Institut de Mathématiques de Bordeaux

La chaîne possède donc une mesure de probabilité stationnaire unique qui a pour support la classe récurrente – Si une chaîne possède plusieurs classes

[PDF] CHAÎNES DE MARKOV - ceremade

8 4 Caractérisation des chaînes de Markov récurrentes positives 122 8 5 Exercices : mesures stationnaires et invariantes

[PDF] Chaînes de Markov

Pour une chaîne de Markov irréductible récurrente la mesure empirique et la loi marginale du pro- cessus convergent soit vers l'unique mesure de probabilité P-

[PDF] Chaînes de Markov (et applications)

22 fév 2021 · Une chaîne de Markov homogène “saute” donc aléatoirement d'états en états et la probabilité de chaque saut est donnée par la matrice Q En

[PDF] Chapitre 8 Chaˆ?nes de Markov - DI ENS

La cha?ne (ou sa matrice de transition) est alors dite respectivement récurrente transiente Démonstration Si i et j communiquent il existe M et N tels que

[PDF] Chaînes de Markov

Le lemme suivant précise la structure d'une classe récurrente périodique Lemme Soit X une chaîne de Markov homogène irréductible finie de matrice de

[PDF] Introduction aux chaines de Markov - CERMICS

Une cha?ne de Markov est dite transiente (resp récurrente) si tous les états sont transients (resp récurrents) On pose Nx = ?n?N

[PDF] Chaînes de Markov - Institut Camille Jordan

plique celle de tous les autres points On parlera donc de chaînes de Markov irréductibles récurrentes ou transientes ou de noyau récurrent ou transient

[PDF] Chaînes de Markov

Soit (Xn)n?N une chaîne de Markov de matrice de transition P irréductible récurrente Alors il existe une mesure ? strictement positive invariante unique à

[PDF] Chaˆ?nes de Markov 2 - Université de Rennes

Une cha?ne de Markov homog`ene `a valeurs réelles peut être vue (en loi ) comme une suite récurrente définie comme dans la proposition 2 Démonstration Soit (

Comment calculer la période d'une chaîne de Markov ?
Cela conduit au calcul suivant : P(X2 = s/X0 = m) = P(X2 = s/X1 = m) · P(X1 = m/X0 = m) + P(X2 = s/X1 = s) · P(X1 = s/X0 = m) = 0,15 · 0,0,55 + 0,15 · 0,1=0,0975. La cha?ne n'est pas périodique comme on peut le voir facilement sur son diagramme en points et fl`eches.
Comment montrer qu'une chaîne de Markov est irréductible ?
Une chaîne de Markov est dite irréductible si K(x, y) > 0 pour tout couple x, y. Dans ce cas, soit la chaîne consiste en une seule classe d'états récurrents, soit la chaîne consiste seulement en états tous transitoires.
Comment montrer qu'une suite est une chaîne de Markov ?
= P(Xn+1 = yXn = xn). Cette preuve permet de montrer rigoureusement que la marche aléatoire sur Zd est bien une chaîne de Markov. Dans le monde déterministe, cela revient à étudier les suites (xn)n?0 définies par ré- currence de la manière suivante : xn+1 = f(xn,n).
Si une chaîne de Markov est irréductible et si son espace d'états est fini, tous ses états sont récurrents positifs. La loi forte des grands nombres est alors en vigueur. Plus généralement, tous les éléments d'une classe finale finie sont récurrents positifs, que l'espace d'états soit fini ou bien infini dénombrable.

RÉCURRENCE ET TRANSIENCE Master MIMSE Bordeaux Dans

CHAPITRE 3 : RÉCURRENCE ET TRANSIENCE

MICHEL BONNEFONT

Master MIMSE Bordeaux

Dans tout ce chapitre,(Xn)n2Nsera une chaîne de Markov homogène de para- mètres(;P).

1.Définitions et premières propriétés

Notation-Définition 1.1.Soit(Xn)n2Nune chaîne de Markov à valeurs dansE.

Soiti2E, on note

N i=Ni(X) = cardfn0;Xn=ig lenombre de passagesde la chaîne eni. On définit lesinstants successifs de passageenipar i=1i=1i(X) = inffp >0;Xp=ig et pourn2, sin1 i<+1, ni=ni(X) = inffp > n1 i;Xp=ig:

De plus on note, avec0i= 0,

8n1;Sni=(

nin1 isin1 i<1;

0sinon.

Enfin, on noteEil"espérance sousPi.

Remarque1.2.Lesni,i2E,n1, sont des temps d"arrêt par rapport àFn. Définition 1.3.Un pointideEest ditrécurrentpour la chaîne de Markov (Xn)n2NsiPi(Ni=1) = 1. Il est dittransientsiPi(Ni=1) = 0. Lemme 1.4.Pourr1,Sriest indépendant de la tribuFr1 i( tribu des événe- ments antérieurs au temps d"arrêtr1 i)et conditionnellement àr1 i<1,Sri

P(Sri=njr1

i<1) =Pi(i=n): Démonstration.Appliquons la propriété de Markov forte au temps d"arrêt=r1 i. Sous <1on a automatiquementX=i. Donc conditionnellement à <1, (X+n)n2Nest une chaîne de Markov de paramètre(i;P)et est indépendante de X

0;:::;X. De plus,

S ri= inffn1;X+n=ig; doncSriest le temps de premier passage de(X+n)n2Neni. 1

2 MICHEL BONNEFONT

Lemme 1.5.Soitfi=Pi(i<1)la probabilité de retour eni. Alors

8r2N;Pi(Ni> r) =fri:

De plus, sifi= 1, on aPi(Ni= +1) = 1:Et sifi<1, sousPi, la variable aléatoire N iest une loi géométrique de paramètre1fi. Démonstration.Observons tout d"abord que siX0=ialorsNi> r()ri<1.

Montrons le lemme par récurrence surr.

Soit r= 1. Partant dei, le nombreNide fois où on visite l"étatiau cours de la trajectoire est superieur ou égal à 2 si et seulement si le tempside premier retour eniest fini. D"où : P i(Ni>1) =Pi(i<1) =fi: Supp osonsle résultat v érifiép ourr1. Comme précedemment, le nombreNi de fois où on visite l"étatiest superieur ou égal à r+2 si et seulement si le tempsr+1 ide r+1 ème retour eniest fini. On en déduit : P i(Ni> r+ 1) =Pi(r+1 i<1); =Pi(ri<1;Sr+1 i<1); =Pi(Sr+1<1jri<1)Pi(ri<1); =fifrid"après le lemme précédent, =fr+1 i: On a donc le résultat souhaité pour toutr. Maintenant sifi:=Pi(i<1) = 1alors P i(Ni=1) = limr!1Pi(Ni> r) = 1. Et sifi<1, alors pourr1 P i(Ni=r) =Pi(Ni> r1)Pi(Ni> r) =fr1 i(1fi): Le théorème suivant fournit un premier critère de récurrence et transience plus maniable que la définition de la récurrence et de la transience.

Théorème 1.6.

(1) L"état iest récurrent si seulement siPi(i<1) = 1. (2) L"état iest transient si et seulement siPi(i<1)<1. En particulier tout état est récurrent ou transient. Démonstration.Il suffit de montrer que siPi(i<1) = 1alorsiest récurrent et siPi(i<1)<1alorsiest transient. Supp osonsPi(i<1) = 1alorsPi(Ni=1) = limr!1Pi(Ni> r) = 1donciest récurrent. Supp osonsPi(i<1)<1alorsPi(Ni=1) = limr!1Pi(Ni> r) = 0donciest transient. On déduit maintenant un deuxième critère de récurrence et de transience.

RÉCURRENCE ET TRANSIENCE 3

Théorème 1.7.

(1)

L"état iest récurrent si seulement siP1

n=0Pnii= +1. (2)

L"état iest transient si et seulement siP1

n=0Pnii<+1. Ce théorème se démontre à partir des deux lemmes suivants :

Lemme 1.8.On aEi(Ni) =P1

n=0Pnii.

Démonstration.

E i(Ni) =Ei 1X n=01 fXn=ig! =1X n=0E i1fXn=igpar Fubini-Tonelli, 1X n=0P i(Xn=i) =1X n=0P nii: Lemme 1.9.SiXest une variable aléatoire à valeurs dansNalors

E[X] =X

r0P(X > r):

En particulier sifi:=Pi(i<+1)<1,

E i(Ni) =11fi<1:

Démonstration.Par Fubini-Tonelli

E(X) =X

k1kP(X=k) =X k1k1X l=0P(X=k) X l0X kl+1P(X=k) =X l0P(Xl+ 1):

Par conséquent, sifi:=Pi(i<+1)<1,

E i(Ni) =1X r=0P i(Ni> r) =1X r=0f ri=11fi<1: Démonstration du théorème .D"après ce qui précède, il nous suffit de montrer que siPi(i<1) = 1alorsP1 n=0Pnii= +1et siPi(i<1)<1alorsP1 n=0Pnii<+1.

Supp osonsPi(i<1) = 1alorsPi(Ni=1) = 1etP

n0Pni;i=Ei[Ni] = +1.

Supp osonsPi(i<1)<1alorsP

n0Pni;i=Ei[Ni] =11fi<1:

Corollaire 1.10.Soitiun point deE. Alors

P i(Ni=1) = 1()Pi(Ni=1)>0; P i(Ni=1)<1()Pi(Ni=1) = 0:

4 MICHEL BONNEFONT

2.Structure de classe

Théorème 2.1.La récurrence et la transience sont des propriétés de classe. Démonstration.Soienti;jtels quei !j. Il existen;m0vérifiantPnij>0et P mji>0, et pour toutr0on aPn+r+m iiPnijPrjjPmjid"où 1 X r=0P rjj1P nijPmji1 X r=0P n+r+m ii:

Supposons maintenant queiest transient alors

1 X r=0P rjj1P nijPmji1 X r=0P n+r+m ii<+1 et doncjest transient.

Supposons maintenant quejest récurrent alors

+1=1X r=0P rjj1P nijPmji1 X r=0P n+r+m ii et donciest récurrent. Remarque2.2.On peut donc parler de classe récurrente ou transiente. De plus, une chaîne de Markov est dite récurrente (respectivement transiente) si tous ses états sont récurrents (respectivement transients). Théorème 2.3.Toute classe récurrente est fermée. Ou de manière équivalente : toute classe qui n"est pas fermée est transiente. Démonstration.SoitCune classe qui n"est pas fermée. Il existei2 C,j =2 Cetm1 tels quePi(Xm=j)>0. De plus, puisquejne conduit pas ài,Pi(Xm=j;Xm+l= i) = 0pour toutl0. DoncPi(fXm=jg) =Pi(fXm=jg \ fNi<1g). Ceci implique que P i(Ni<1)Pi(fXm=jg \ fNi<1g) =Pi(fXm=jg)>0:

Donciest transient et doncCest transiente.

Théorème 2.4.Toute classe fermée et finie est récurrente. Démonstration.SoitCune classe fermée et finie, supposons queX02 C.Cétant fermée et finie, pour chaque réalisation de la chaîne de Markov, il existe un état qui est visité une infinité de fois.

On en déduit queP0(S

j2EfNj=1g) = 1.Cétant finie, il existe donc un état itel queP0(Ni=1)>0. Montrons queiest récurrent, il nous suffit de montrer quePi(Ni=1)>0.

PosonsTi= inffn2N;Xn=ig, on va montrer :

0
RÉCURRENCE ET TRANSIENCE 5

En effet,Tiest un temps d"arrêt et on a
P
0(Ni=1) =P0(fTi<1g \ fXTi+n=ipour une infinité deng);
=P0(XTi+n=ipour une infinité denjTi<1)P0(Ti<1) =Pi(Xn=ipour une infinité den)P0(Ti<1)par la propriété de Markov forte qui nous dit que, conditionnellement àfTi<1g; (XTi+n)n2Nest une chaîne de Markov de paramètres(i;P); =P0(Ti<1)Pi(Ni=1): Donc on obtient quePi(Ni=1)>0, donciest récurrent etCl"est aussi. Corollaire 2.5.Toute chaîne de Markov homogène sur un espace d"états fini admet (au moins) une classe récurrente. Définition 2.6.Un pointideEest ditrécurrent positifpour la chaîne de Markov(Xn)n2NsiEi(i)<1. Un point récurrent deEqui n"est pas récurrent positif est ditrécurrent nul. Théorème 2.7.La récurrence positive et la récurrence nulle sont des propriétés de classe.
Démonstration.Résultat admis.
Proposition 2.8.SiEest fini, tous les états récurrents sont récurrents positifs
Démonstration.Résultat admis.
quotesdbs_dbs28.pdfusesText_34

[PDF] RÉCURRENCE ET TRANSIENCE Master MIMSE Bordeaux Dans

Comment calculer la période d'une chaîne de Markov ?

Comment montrer qu'une chaîne de Markov est irréductible ?

Comment montrer qu'une suite est une chaîne de Markov ?

CHAPITRE 3 : RÉCURRENCE ET TRANSIENCE

MICHEL BONNEFONT

Master MIMSE Bordeaux

1.Définitions et premières propriétés

Soiti2E, on note

De plus on note, avec0i= 0,

8n1;Sni=(

0sinon.

Enfin, on noteEil"espérance sousPi.

P(Sri=njr1

0;:::;X. De plus,

2 MICHEL BONNEFONT

8r2N;Pi(Ni> r) =fri:

Montrons le lemme par récurrence surr.

Théorème 1.6.

RÉCURRENCE ET TRANSIENCE 3

Théorème 1.7.

L"état iest récurrent si seulement siP1

L"état iest transient si et seulement siP1

Lemme 1.8.On aEi(Ni) =P1

Démonstration.

E[X] =X

En particulier sifi:=Pi(i<+1)<1,

Démonstration.Par Fubini-Tonelli

E(X) =X

Par conséquent, sifi:=Pi(i<+1)<1,

Supp osonsPi(i<1) = 1alorsPi(Ni=1) = 1etP

Supp osonsPi(i<1)<1alorsP

Corollaire 1.10.Soitiun point deE. Alors

4 MICHEL BONNEFONT

2.Structure de classe

Supposons maintenant queiest transient alors

Supposons maintenant quejest récurrent alors

Donciest transient et doncCest transiente.

On en déduit queP0(S

PosonsTi= inffn2N;Xn=ig, on va montrer :

RÉCURRENCE ET TRANSIENCE 5

En effet,Tiest un temps d"arrêt et on a

0(Ni=1) =P0(fTi<1g \ fXTi+n=ipour une infinité deng);

Démonstration.Résultat admis.

Démonstration.Résultat admis.