[PDF] [PDF] Cours sur les chaînes de Markov

[PDF] Guide pratique de la mesure du temps - budgetgouvfr

de grandeur (calcul d'un retour sur investissement prévisionnel) et celle d'une mesure très précise (voire auditable ou certifiable) pour une refacturation

[PDF] Propagation dune onde

EXERCICE 1 2 Notons d la profondeur mesurée par le sonar Le temps τ correspond à un aller-retour donc à la distance 2d, puisque la salve est réfléchie

[PDF] Topométrie : Mesure des distances - UPHF

Les appareils de mesures de distances permettent d'obtenir la distance selon la On mesure le temps de propagation aller-retour d'un train d'onde à très 

[PDF] CHAÎNES DE MARKOV - Institut de Mathématiques de Bordeaux

C Cas général : retour aux mesures stationnaires 23 7 Dans l'évolution au cours du temps, l'état du processus à un instant futur ne dépend que de celui à

[PDF] e-drologie - EPFL

temps les variations du transport solide, puis mesures par filtration au laboratoire La notion de fréquence étant exprimée par la notion de temps de retour 4

[PDF] Cours sur les chaînes de Markov

Ainsi, (Xn)n est une chaîne de Markov si, en tout « temps » n, connaître la position où τx0 est le temps de retour en x0, est l'unique mesure invariante telle que 

[PDF] 3 Mesures invariantes

x0 est le temps de retour en x0, est l'unique mesure invariante telle que m(x0)=1 En toutes lettres, mx0 (x) est, pour la chaîne de Markov issue de x0, le nombre 

[PDF] TDC - IN2P3 - Formation

30 nov 2012 · Retour d'expérience: Mesures de temps avec FASTER, 30/11/2012, Fontbonne Cathy 2 1 Le projet FASTER 2 Le module TDC de FASTER

[PDF] La relativité du temps - Physique terminale S

1 août 2013 · de mesurer le temps de parcours d'un signal dans le sens du déplacement de la Terre et dans le T0 temps aller et retour du signal d = cT0 2

[PDF] Retour détat et Observateur 1 Le retour détat

L'implantation de cette commande par retour d'état nécéssite la mesure de et - 4 permet d'obtenir un régime transitoire apériodique de constante de temps 1/3

[PDF] CONSEIL COMMUNAUTAIRE DU 27 MAI 2013

[PDF] PLR 2014 - EXTRAIT DU RAP DE LA MISSION : PARTICIPATION DE LA FRANCE AU DÉSENDETTEMENT DE LA GRÈCE

[PDF] Le Bien-Être au Travail, une préoccupation managériale

[PDF] RENTREE 2015-2016. Faculté de Marketing et d Agrosciences. dates. Licence 3 (1) Master 1-2 Licence 3 (1) Master 1-2. Mardi 8/09/15 14h00

[PDF] REGLEMENT COMPLET DU JEU CALENDRIER DE L AVENT

[PDF] PRIMAVERA P6 ENTERPRISE PROJECT PORTFOLIO MANAGEMENT WEB SERVICES

[PDF] Conditions générales d utilisation des services édités par PARTOUCHE IMAGES

[PDF] Licence Domaine Sciences Humaines et Sociales Mention Histoire Parcours type Histoire - Droit

[PDF] LES DECHETERIES DU DEPARTEMENT DE LA SEINE-MARITIME

[PDF] ACCORD FRAIS DE SANTÉ

[PDF] Le règlement général des subventions départementales

[PDF] Rencontres de la présentation

[PDF] Mobilisation des crédits dédiés à la formation linguistiques des étrangers primo arrivants

[PDF] Mai 2010 Mandatory credit : AIVI/IPSOS Nobody s Unpredictable

[PDF] entreprendre prêt d honneur accompagner créer financer reprendre développer expertiser parrainer

Université Paris 13, Institut Galilée Préparation à l"agrégation

Année universitaire 2014-2015

Cours rapide sur les chaînes de Markov1 Définition

DéfinitionSoitEun ensemble dénombrable (ou fini). Une suiteX= (Xn)n0de variables aléatoires à valeurs dansE

est unechaîne de Markovsi, pour toutn0, pour tousx1;:::;xn;xn+12E, ?(Xn+1=xn+1jX0=x0;:::;Xn=xn) =?(Xn+1=xn+1jXn=x); dès lors que?(X0=x0;:::;Xn=xn)>0. Eest l"espace d"étatsdeX. Laloi initialedeXest la loi deX0.

Cette chaîne de Markov esthomogène(dans le temps) s"il existe(x;y)7!P(x;y)surEEtelle que : pour

toutn0, pour tousx;y2E, ?(Xn+1=yjXn=x) =P(x;y); dès lors que?(Xn=x)>0.Pest lamatrice de transitiondeX.

Ainsi,(Xn)nest une chaîne de Markov si, en tout " temps »n, connaître la position " présente »Xnrenseigne

tout autant sur laloide la position " future »Xn+1que de connaître tout le " passé »X0;:::;Xn. Autrement

dit, sachantXn,Xn+1est indépendante deX0;:::;Xn.

On peut voir que ceci revient aussi à dire queX0suit une certaine loi, puis que la suite(Xn)nest définie par

une récurrence de la formeXn+1=fn(Xn;Un)où la variable aléatoireUnest indépendante deX0;:::;Xn. Le

cas d"une chaîne homogène est celui où la transition est la même à chaque étape : les fonctionsfn,n0;sont

égales entre elles, et les variablesUn,n0, ont toutes la même loi. C"est donc un analogue aléatoire des suites

récurrentes d"ordre 1.

Dans la suite, on ne considèrera que des chaînes de Markov homogènes, et on omettra donc de le spécifier.

La loi d"une chaîne de Markov homogène est entièrement donnée par sa loi initiale et sa matrice de transition :

LemmeSi(Xn)nest une chaîne de Markov de loi initialeet de matrice de transitionPalors, pour toutn0,

pour tousx0;:::;xn2E, ?(X0=x0;:::;Xn=xn) =(x0)P(x0;x1)P(xn1;xn):

La matricePeststochastique: ses coefficients sont positifs, et la somme de chaque ligne vaut 1. Inversement,

à l"aide du lemme, on peut définir la loi d"une chaîne de Markov à partir de tout choix d"une loisurEet

d"une matrice stochastiquePsurEE.

On aura constamment besoin de considérer des chaînes de Markov ayant la même matrice de transitionP

mais différentes lois initiales. Si la matricePest spécifiée dans le contexte, on notera ainsi?une probabilité

sous laquelle(Xn)n0est une chaîne de Markov de loi initialeet de matrice de transitionP. Ici,est une

probabilité surE, que l"on voit comme une fonction:E!?+: on a, pourx2E, (x) =?(X0=x):

Dans le cas où=z, c"est-à-dire queX0=zp.s., on notera?zau lieu de?z. Sous?z,Xest une chaîne de

Markovissue dez:

z(X0=z) = 1: Par la définition, pour tousx;y2E, comme?x(X0=x) = 1, x(X1=y) =?x(X1=yjX0=x) =P(x;y): 1 et, pour toute loi initialeet touty2E, (X1=y) =X x2E? (X0=x;X1=y) =X x2E; (x)>0(x)?(X1=yjX0=x) =X x2E(x)P(x;y): Plus généralement, pour toute loisurE, pour tousx;y2E, pour toutn, de même, (Xn+1=y) =X x2E? (Xn=x;Xn+1=y) X x2Etel que (Xn=x)>0? (Xn=x)?(Xn+1=yjXn=x) X x2E? (Xn=x)P(x;y): Notons, pourx2Eetn2?,n(x) =?(Xn=x), c"est-à-dire quenest la loi deXnsous?. On a donc

0=, et la formule précédente s"écrit, en voyant les mesures surEcomme des vecteurs-lignes, etPcomme

une matrice (éventuellement infinie), n+1=nP: On a doncn=Pn. En particulier (si=x), la lignexdePndonne la loi deXnsous?x: pour tousx;y, x(Xn=y) =Pn(x;y)Définition

Legraphed"une chaîne de MarkovXd"espace d"étatsEet de matrice de transitionPest le graphe orienté

dont les sommets sont les états et les arêtes sont les couples(x;y)tels queP(x;y)>0. Le graphe deXreprésente donc les transitions possibles en 1 pas.

Propriété de Markov

La propriété suivante généralise la définition en exprimant que, sachant la position présenteXn, le futur

(Xn;Xn+1;:::)est indépendant du passé(X0;:::;Xn)et suit la loi?Xn.

Proposition (Propriété de Markov faible au tempsn)Pour toutn, pour tousx0;:::;xn2E(tels que?(X0=x0;:::;Xn=xn)>0),

sachantX0=x0;:::;Xn=xn,(Xn+k)k0suit la loi?xn.

Autrement dit,

p ourtout UEn, et toutVE?mesurable, pour toutx2E, p ourtoutes fonctions f:En!?etg:E?!?mesurables bornées, ?[f(X0;:::;Xn)g(Xn;Xn+1;:::)] =?f(X0;:::;Xn)?Xn[g(X0;X1;:::)]: Cette propriété s"étend aux temps aléatoires qui " ne dépendent pas du futur » :

DéfinitionUntemps d"arrêtde(Xn)nest une variable aléatoireà valeurs dans?[ f1gtelle que, pour toutn,

f=ng 2(X0;:::;Xn):

On rappelle que(X0;:::;Xn)est la tribu engendrée parX0;:::;Xn: c"est l"ensemble des événements qui ne

dépendent que deX0;:::;Xn.est donc un temps d"arrêt si, pour toutn, on peut savoir si=nà partir de la

seule connaissance deX0;:::;Xn. Si on découvreX0;X1;:::l"un après l"autre, on peut donc s"" arrêter » àX.

2

Proposition (Propriété de Markov forte au temps)Pour tout temps d"arrêt, pour toutn, pour tousx0;:::;xn2E(tels que ... )

sachant=netX0=x0;:::;Xn=xn,(X+k)k0suit la loi?xn.

Autrement dit,

p ourtout UEn, et toutVE?mesurable, pour toutx2E, p ourtoutes fonctions f:En!?etg:E?!?mesurables bornées, ?[1f=ngf(X0;:::;Xn)g(Xn;Xn+1;:::)] =?1f=ngf(X0;:::;Xn)?X[g(X0;X1;:::)]:

2 Récurrence et transience

On s"intéresse aux états où se trouve la chaîne de Markov après un temps long : en particulier, quels états ne

seront plus visités après un certain temps, et quels états seront au contraire revisités perpétuellement?

DéfinitionSoitx2E. On notexle temps de retour enx: x= inffn1jXn=xg: L"étatx2Eestrécurrentsi?x(x<1) = 1, ettransientsinon.

Ainsi,xest récurrent si, partant dex,Xrevient presque sûrement enx. Par la propriété de Markov forte au

tempsx, si un retour est presque sûr, alors un second retour sera presque sûr, etc. : PropositionSoitx2E. On noteNxle nombre de visites enx: N x=1X n=01 fXn=xg: a)xest récurrent si, et seulement si?x(Nx=1) = 1. Plus généralement, s"il existey2Etel que?y(Nx=1)>0, alorsxest récurrent. b) Si xest transient alors, sous?x,Nxsuit la loi géométrique de paramètre?x(x=1).

Par b) on note que, sixest transient alors?x[Nx]<1. Ainsi,xest récurrent si, et seulement si?x[Nx] =1,

c"est-à-dire si1X n=0P n(x;x) =1:

2.1 Classification des états

DéfinitionPourx;y2E, on notex!ys"il existen0tel quePn(x;y)>0. Deux étatsx;y2Ecommuniquentsix!yety!x. On note alorsx$y.

$est une relation d"équivalence dont les classes sont appelées lesclasses de communicationde la chaîne

de Markov. Une classe de communicationCestferméesi, pour toutx2 C, il n"y a pas dey =2 Ctel quex!y. S"il y a une seule classe de communicationC=E, la chaîne de Markov est diteirréductible.

Sur le schéma de la chaîne de Markov,x$ys"il y a un chemin (d"une certaine longueur) dexversy, et un

chemin deyversx. Une classe est fermée si aucune transition n"en sort. 3

Proposition

a)

Si xest récurrent etx!y, alorsyest récurrent. Par suite, les éléments d"une classe sont tous récurrents,

ou tous transients. On parle declasse récurrenteou declasse transiente. b)

Si xest récurrent etx!y, alorsy!x. Par suite, si une classe n"est pas fermée, elle est transiente.

c)

Une class efermée et finie est récurren te.

Démonstration:(Intuition) a) Sixest récurrent alors, partant dex,xest visité infiniment souvent; dès lors, s"il est

possible, depuisx, de suivre un chemin pour visitery(avec probabilitéPn(x;y)>0), alors ceci va se produire lors d"une

infinité de retours enx:ysera visité infiniment souvent, doncyest récurrent.

b) De plus, pour quexpuisse être visité infiniment souvent, il doit être possible de revenir enxaprès la première visite

ày, doncy!x.

c) Partant dexappartenant à une classe fermée finieC, la chaîne de Markov passe tout son temps dans l"ensemble fini

C, donc il existey2 Cqui est visité infiniment souvent (avec probabilité>0). Cet étatyest alors récurrent.Cette proposition permet de déterminer la nature (récurrent ou transient) de tous les états d"une chaîne de

Markovfinie: les classes fermées sont récurrentes, et les autres transientes. En particulier, une chaîne de

Markov irréductible sur un espace fini est récurrente.

En revanche, une classe fermée infinie peut être transiente ou récurrente : cela va dépendre plus finement de la

matriceP(la classification précédente ne dépend que de la position des coefficients non nuls deP).

2.2 Probabilités et temps moyens d"absorption

Dans le cas où il y a plusieurs classes fermées se pose la question de savoir dans quelle classe la chaîne de Markov

va ultimement être " bloquée ».

DéfinitionSoitCune classe fermée (pour la chaîne de MarkovX). On noteCson temps d"atteinte :

C= inffn1jXn2 Cg:

Pour tout étatx2E, laprobabilité d"absorption parCpartant dexest q

C(x) =?x(C<1):

On a évidemmentqC(x) = 1six2 CetqC(x) = 0sixappartient à une classe fermée différente deC.

Et sixappartient à une classes non fermée, alors sous?x,C= 1 +C1doncC<1si, et seulement si

C1<1(pour atteindreCdepuisxil faut l"atteindre à partir de la positionX1). Par la propriété de Markov

au temps 1, ceci donne : q

C(x) =?x(C1<1) =X

y2E? x(X1=y;C1<1) =X y2E? x(X1=y)?y(C<1);

ce qui se ramène, siTest la réunion des classes non fermées (n.b. : ce sont des état transients), à

q

C(x) =X

y2TP(x;y)qC(y) +X y2CP(x;y):

Ces équations, d"inconnuesqC(x)pourx2 T, définissent un système linéaire dont on peut montrer, siTest

fini, qu"il admet une unique solution : on a donc une méthode de calcul des probabilités d"absorption.

4

3 Mesures invariantes

Dans toute cette partie, on supposera a priori la chaîne de Markov(Xn)n0irréductible. Dans le cas général,

on pourra néanmoins appliquer les théorèmes suivants à la chaîne de Markovrestreinteà une classe fermée et

en déduire alors des résultats sur certaines chaînes de Markov non irréductibles.

Ayons en tête le cas récurrent : chaque état est visité infiniment souvent. Les définitions suivantes sont surtout

pertinentes dans ce cas-ci.

Tandis que la question de la récurrence ou la transience ont trait au comportement asymptotique de(Xn)nde

façon qualitative (est-ce queXvisite tel état infiniment souvent?), on s"intéresse maintenant à des questions

plus quantitatives, à savoir :

Com biende temps la suite (Xn)npasse-t-elle dans les divers états? (en proportion, pendant un tempsn! 1)

Com biende temps faut-il à la suite (Xn)npour revenir à son point de départ? (en espérance)

La loi de Xnadmet-elle une limite quandnest grand? Peut-on espérer une propriété de " mélange », à savoir

que la loi deXnne dépend presque plus de celle deX0et s"approche d"un équilibre?

Pour toutn, on noten=?(Xn=x)

x2Ela loi deXn(on considérerancomme un vecteur-ligne). On a vu que, pour toutn2?, n+1=nP: Ainsi, sin!(et si la multiplication parPest continue),doit vérifier=P. DéfinitionUne mesuresurEestinvariante(pourP) si=P, c"est-à-dire : pour touty2E,(y) =X x2E(x)P(x;y): On parle deloi invariantesi de plusest une probabilité ((E) = 1). (On dit aussiloi/probabilité invariante/stationnaire) Vu la relationn+1=nP, on constate de suite que, siest une loi invariante etX0, alorsXnpour toutn. En revanche, sin"est pas une probabilité, alorsPn"a pas d"interprétation probabiliste.

3.1 Existence et " unicité » des mesures invariantes

On va voir qu"une chaîne de Markovrécurrenteadmet toujours une mesure invariante (non nulle), et celle-ci

sera unique à un facteur près dès lors que la chaîne de Markov est irréductible. En particulier, une chaîne de

Markov finie irréductible admet toujours une mesure invariante, unique à un facteur près.

Cas fini.Dans le cas fini, la relation=Psignifie queest un vecteur propreà gauchedePpour la valeur

propre 1, ou encore que test un vecteur propre (à droite) detP. Vu que 1 est valeur propre deP(la somme des lignes vaut 1), on sait que 1 est valeur propre de tP, donc il existe6= 0tel queP=. Il faut voir que

l"on peut choisirà coefficients positifs; et l"unicité revient à dire que1est une valeur propre simple.

On peut donner une preuve élémentaire mais c"est aussi une conséquence d"un important théorème plus général :

Théorème (de Perron-Frobenius)SoitAune matrice carrée de tailleNà coefficients positifs. On supposeAirréductible : pour tousi;j, il

existen0tel que(An)i;j>0. Alors le rayon spectral deA,= maxfjjj2Sp(A)g, est une valeur propre simple deA, et admet un vecteur propre (non nul) à composantes positives.

Cas général.On peut donner un argument probabiliste, qui donne une expression des mesures invariantes :

PropositionSiXest récurrente irréductible, alors il existe une mesure invariante (non nulle), unique à un facteur près.

Explicitement, si on se donnex02E, la mesuremx0définie par m x0(x) =?x0 x01X n=01 fXn=xg oùx0est le temps de retour enx0, est l"unique mesure invariante telle quem(x0) = 1. 5

En toutes lettres,mx0(x)est, pour la chaîne de Markov issue dex0, le nombre moyen de visites àxavant de

retourner enx0.

PropositionS"il y a un nombre fini d"états transients, alors toute mesure invariante est nulle sur ceux-ci.

3.2 Mesure réversible

DéfinitionUne mesuresurEestréversible(pourP) si, pour tousx;y2E, (x)P(x;y) =(y)P(y;x): La première remarque est qu"une telle mesure est invariante : pour touty2E, (P)(y) =X x2E(x)P(x;y) =X x2EP(y;x)(x) =(x): Cependant, la plupart des mesures invariantes ne sont pas réversibles.

Un intérêt pour les mesures réversibles vient du fait qu"elles sont plus faciles à trouver (si elles existent) que les

mesures invariantes : le système ci-dessus se résout immédiatement (si on fixe(x), on déduit(y)pour tout

ytel queP(x;y)>0, etc., et il faut juste vérifier que ceci ne mène pas à des incohérences) Il peut donc être

bénéfique de commencer par chercher d"éventuelles mesures réversibles.

L"intérêt principal est cependant théorique : on montre que, siX0suit la loi réversible (donc stationnaire), alors

la suite(X0;X1;:::;Xn)a même loi que la suite(Xn;Xn1;:::;X0), ce qui justifie l"appellation. Une chaîne de

Markov réversible a même loi, sous la probabilité stationnaire, lorsque l"on retourne le temps. Des parallèles

avec l"étude des réseaux électriques existent pour les chaînes de Markov réversibles, et une grande quantité de

résultats, souvent d"inspiration physique, leur sont spécifiques.

3.3 Récurrence positive

La formule explicite (}) pour les mesures invariantes a un intérêt fondamental. Pour commencer, on note que

sa masse totale est : (échange espérance/série justifié car v.a. positives) m x0(E) =X x2Em x0(x) =?x0 X n< x0X x2E1 fXn=xg =?x0 X n< x01 =?x0[x0]: DéfinitionUn étatx2Eestrécurrent positifsi?x[x]<1. Si un état est récurrent et n"est pas récurrent positif, il est ditrécurrent nul.

Par la remarque précédente, si un étatx0est récurrent positif, la mesure invariantemx0est finie (c"est-à-dire de

masse totale finie), et vice-versa; en particulier, en divisantmx0par cette masse totale?x0[x0], on obtient une

loi invariante, unique (tout court) si la mesure invariante est unique à un facteur près. Et(x0) =1?

x0[x0].

On en déduit la seconde partie de ce qui suit.

Proposition-Si xest récurrent positif etx$y, alorsyaussi.

PourPirréductible, on dit quePestrécurrente positivesi un état (ou tous) est récurrent positif.

Si Pest irréductible,Pest récurrente positive si, et seulement s"il existe une loi invariante.

Et, dans ce cas, pour tout étatx,

(x) =1? x[x]: Dans le cas oùEest fini, la masse totale d"une mesure invariante est toujours finie. Par suite :

CorollaireToute chaîne de Markov irréductible sur un espace d"états fini est récurrente positive.

6

4 Théorèmes limites

4.1 Comportement presque sûr : théorème ergodique

On considère le temps passé en un état au cours d"une longue trajectoire de la chaîne de Markov.

Le théorème ergodique énonce que, si la chaîne de Markov est récurrente positive, alors elle passe une proportion

strictement positive de son temps dans chaque état, et cette proportion est donnée par sa loi invariante. Si elle

est récurrente nulle, alors elle passe en chaque point une proportion de son temps qui converge vers zéro.

Ceci se comprend via la formule(x) =1?

x[x]: entre deux visites enx, il se passe un temps moyen?x[x], donc sur une duréen, on peut s"attendre à ce queXpasse un temps de l"ordre den? x[x]=n(x)enx(par la loi des grands nombres).

Théorème (Théorème ergodique, dans le cas récurrent positif)On suppose la chaîne de Markov irréductible et récurrente positive, de probabilité invariante.

Pour tout étatx, pour toute loi initiale,

-p.s.,1n n1X k=01 fXk=xg!n!1(x):

Plus généralement, pour toute fonctionf:E!?intégrable par rapport à, pour toute loi initiale,

-p.s.,1n n1X k=0f(Xk)!n!1Z E fd=X x2Ef(x)(x):

Ce théorème s"applique donc notamment, on le rappelle, aux chaînes de Markov finies irréductibles.

La version dans le cas récurrent nul est nettement moins utile que la précédente. La voici néanmoins :

Théorème (Théorème ergodique, dans le cas récurrent nul)On suppose la chaîne de Markov irréductible et récurrente nulle, ayant une mesure invariante.

Pour tout étatx, pour toute loi initiale,

-p.s.,1n n1X k=01 fXk=xg!n!10: Pour toutes fonctionsf;g:E!?bornées, telles queR

Egd6= 0, pour toute loi initiale,

-p.s.,P n1 k=0f(Xk)P n1 k=0g(Xk)!n!1R EfdR Egd=P x2Ef(x)(x)P x2Eg(x)(x):

Par exemple, la proportion de temps passé enxtend vers0, mais le rapport entre le temps passé enxet le

temps passé enyconverge vers(x)(y)(prendref=1fxgetg=1fyg).

4.2 Convergence en loi

À partir du théorème ergodique dans le cas récurrent positif, le théorème de convergence dominée permet de

déduire (en prenant l"espérance) : 1n n1X k=0? (Xk=x)!n(x):

Ainsi, la suite de terme général?(Xn=x)(autrement dit, la loi deXn) converge en moyenne de Cesàro vers

(x)dès que la chaîne de Markov est irréductible et récurrente positive.

Cependant, ceci ne suffit pas à ce que?(Xn=x)converge vers(x). Voici un contre-exemple typique : la

chaîne de Markov surf0;1g, de matrice de transition P=0 1 1 0 7

vérifie?0(Xn= 0) = 0sinest pair et1sinest impair, et on vérifie immédiatement que=1=2 1=2est

la loi invariante. La chaîne de Markov alterne entre les deux états, donc la fréquence d"occupation de chacun

converge bien sûr vers1=2(c"est ce que dit le théorème ergodique). Néanmoins, la probabilité d"être dans un

état donné au tempsnne converge pas.

Pour un exemple moins artificiel, il suffit de considérer l"urne d"Ehrenfest, où se pose exactement le même

problème : la parité deXnchange à chaque pas donc la suite de terme général?0(Xn=x)ne peut pas

converger. Comme on le voit, un obstacle tient à une notion depériodicité; c"est en fait le seul.

DéfinitionLapérioded"un étatx2Eest

d(x) = pgcd(fn1jPn(x;x)>0g):

Sid(x) = 1,xest ditapériodique.

C"est donc le pgcd des longueurs des chemins depuisxversx(dans le graphe associé à la chaîne de Markov).

On trouve dans l"exemple précédent et l"urne d"Ehrenfest (et les marches aléatoires simples) qued(x) = 2pour

tout étatx. Pour la ruine du joueur,d(x) = 2si1xN1, etd(0) =d(N) = 1. Notons que siP(x;x)>0, alors immédiatementd(x) = 1.

PropositionSix$y, alorsd(x) =d(y): la période est la même pour tous les états d"une même classe.

Pour une chaîne de Markov irréductible, on pourra donc parler sans ambiguïté de sa période, et de chaîne

apériodiquesi, pour un étatx(et donc pour tous),d(x) = 1.

ThéorèmeOn suppose que la chaîne de Markov(Xn)n0est irréductible, récurrente positive et apériodique. Alors,

pour toute loi initiale, pour tout étatx, (Xn=x)!n(x);

oùest l"unique loi invariante. Autrement dit, la loi deXnconverge vers la loi invariante. En particulier,

pour tousx;y2E, P n(x;y)!n(y); doncPnconverge vers une matrice dont les lignes sont toutes égales au vecteur-ligne. Plus généralement, pour toute loi initiale, pour toute fonction bornéef:E!?, [f(Xn)]!nZ fd=X x2Ef(x)(x): Démonstration:Admis (et la preuve est même officiellement hors-programme).1 2 345
1 23
Figure1 - Graphes de chaînes de Markov de période 3 et 1, respectivement 8quotesdbs_dbs31.pdfusesText_37