[PDF] Chaînes de Markov PDF Pour une chaîne de

1 Définition

récurrentes d'ordre 1. Dans la suite on ne considèrera que des chaînes de Markov homogènes

Chaînes de Markov

Pour une chaîne de Markov irréductible récurrente la mesure empirique et la loi marginale du pro- cessus convergent soit vers l'unique mesure de probabilité P-

RÉCURRENCE ET TRANSIENCE Master MIMSE Bordeaux Dans

Un point i de E est dit récurrent pour la chaîne de Markov. (Xn)n?N si Pi(Ni = ?)=1. Il est dit transient si Pi(Ni = ?)=0. Lemme 1.4. Pour r ? 1 Sr.

Chaînes de Markov.

Une suite récurrente aléatoire sur un espace E est une suite de v.a. Une chaîne de Markov de distribution initiale ? et matrice de transition.

Chapitre I - Introduction aux chaines de Markov

`a valeurs dans E est appelée cha?ne de Markov de matrice de transition P si Une cha?ne de Markov est dite transiente (resp. récurrente) si tous les ...

Chaˆ?nes de Markov 2

Une cha?ne de Markov homog`ene `a valeurs réelles peut être vue (en loi ) comme une suite récurrente définie comme dans la proposition 2. Démonstration. Soit (

CHAÎNES DE MARKOV

Soit Xn est une chaîne de Markov de matrice de transition P et soit ?0 la loi de X0. On vérifie avec le graphe qu'il y a une seule classe (récurrente)

Chaînes de Markov et Processus markoviens de sauts. Applications

Théorème 4 Soit (Xn)n?0 une chaîne de Markov de matrice de transition P récurrente ir- réductible. Alors il existe une unique mesure invariante strictement

Théorie des chaînes de Markov

matrice stochastique sur X. Une chaîne de Markov de matrice de transition P Soit x un état récurrent d'une chaîne de Markov (Xn)n?N. Sous la loi Px ...

3 Mesures invariantes

On va voir qu'une chaîne de Markov récurrente admet toujours une mesure invariante (non nulle) et celle-ci sera unique à un facteur près dès lors que la

[PDF] CHAÎNES DE MARKOV - Institut de Mathématiques de Bordeaux

La chaîne possède donc une mesure de probabilité stationnaire unique qui a pour support la classe récurrente – Si une chaîne possède plusieurs classes

[PDF] CHAÎNES DE MARKOV - ceremade

8 4 Caractérisation des chaînes de Markov récurrentes positives 122 8 5 Exercices : mesures stationnaires et invariantes

[PDF] Chaînes de Markov

Pour une chaîne de Markov irréductible récurrente la mesure empirique et la loi marginale du pro- cessus convergent soit vers l'unique mesure de probabilité P-

[PDF] Chaînes de Markov (et applications)

22 fév 2021 · Une chaîne de Markov homogène “saute” donc aléatoirement d'états en états et la probabilité de chaque saut est donnée par la matrice Q En

[PDF] Chapitre 8 Chaˆ?nes de Markov - DI ENS

La cha?ne (ou sa matrice de transition) est alors dite respectivement récurrente transiente Démonstration Si i et j communiquent il existe M et N tels que

[PDF] Chaînes de Markov

Le lemme suivant précise la structure d'une classe récurrente périodique Lemme Soit X une chaîne de Markov homogène irréductible finie de matrice de

[PDF] Introduction aux chaines de Markov - CERMICS

Une cha?ne de Markov est dite transiente (resp récurrente) si tous les états sont transients (resp récurrents) On pose Nx = ?n?N

[PDF] Chaînes de Markov - Institut Camille Jordan

plique celle de tous les autres points On parlera donc de chaînes de Markov irréductibles récurrentes ou transientes ou de noyau récurrent ou transient

[PDF] Chaînes de Markov

Soit (Xn)n?N une chaîne de Markov de matrice de transition P irréductible récurrente Alors il existe une mesure ? strictement positive invariante unique à

[PDF] Chaˆ?nes de Markov 2 - Université de Rennes

Une cha?ne de Markov homog`ene `a valeurs réelles peut être vue (en loi ) comme une suite récurrente définie comme dans la proposition 2 Démonstration Soit (

Comment calculer la période d'une chaîne de Markov ?
Cela conduit au calcul suivant : P(X2 = s/X0 = m) = P(X2 = s/X1 = m) · P(X1 = m/X0 = m) + P(X2 = s/X1 = s) · P(X1 = s/X0 = m) = 0,15 · 0,0,55 + 0,15 · 0,1=0,0975. La cha?ne n'est pas périodique comme on peut le voir facilement sur son diagramme en points et fl`eches.
Comment montrer qu'une chaîne de Markov est irréductible ?
Une chaîne de Markov est dite irréductible si K(x, y) > 0 pour tout couple x, y. Dans ce cas, soit la chaîne consiste en une seule classe d'états récurrents, soit la chaîne consiste seulement en états tous transitoires.
Comment montrer qu'une suite est une chaîne de Markov ?
= P(Xn+1 = yXn = xn). Cette preuve permet de montrer rigoureusement que la marche aléatoire sur Zd est bien une chaîne de Markov. Dans le monde déterministe, cela revient à étudier les suites (xn)n?0 définies par ré- currence de la manière suivante : xn+1 = f(xn,n).
Si une chaîne de Markov est irréductible et si son espace d'états est fini, tous ses états sont récurrents positifs. La loi forte des grands nombres est alors en vigueur. Plus généralement, tous les éléments d'une classe finale finie sont récurrents positifs, que l'espace d'états soit fini ou bien infini dénombrable.

Chapitre2

ChaînesdeMarkov

Résumé.Unechaînede Markovestunpro cessusaléatoire(X n n!N dont lestransitio nssontdonnéesparune matricestochastiqueP(X n ,X n+1 Cesproc essusvérifientlapropriétéde Markov,c'est-à-direqu'ob servés

àpartird'untemps(d'arrêt)T,(X

T+n n!N nedépend quedeX T etest denouv eauunechaînedeMarkov. Lesétatsd 'unechaînedeMarkov peuventêtreclassése ndeuxcatégo ries:lesétatstr ansitoires,quine sontvisitésqu'unnombre finidefois p.s.,etles étatsr écurrents,quiune foisatteints sontvisités p.s.uneinfinitédefois, ainsiquetouslesautres étatsdanslamême classederéc urrenc e.Pourunecha înedeMarkov irréductiblerécu rrente,lamesureempiriqueetlaloima rgina ledupro - cessusconv ergentsoitversl'uniquemesuredeprobabilitéP-invariante (récurrencepositive),soit verslevecteur nul(récurrencenulle).Cette théories'appliqueen particulierauxmarchesaléatoiresetau xmodèles defilesd'attente. Danscequis uit,onfixeune spac ed'étatsXfiniou dénombrable,muni delatribude l'ensembledesparties P(X).SiXestfini,on noteraNsonnombre d'éléments.

1.Ma tricesstochastiqueset propriétédeMarkov

1.1.Cha înesdeMarkov.UnematricestochastiquesurXestunefonction P:

(x,y)!X"#P(x,y)![0,1]telleque,p ourto utx!X, y!X

P(x,y)=1.

Autrementdit,tout x!Xdéfinitunemesure de probabilité P(x,·)surX,appelée probabilitédetransitionàpartirdex. Définition2.1(Chaîne deMarkov).Unechaîne deMar kovsur Xdematric ede transitionPestune suitedevariablesaléatoir es(X n n!N définiessurun espace (!,B,P) età valeursdans X,tellequepourtoutn,ettouspointsx 0 ,...,x n+1 P[X n+1 =x n+1 |X 0 =x 0 ,...,X n =x n ]=P(x n ,x n+1

Ainsi,lalo iconditio nnelleP

X n+1 |(X 0 ,...,Xn) estlaprobabilité detransitio nP(X n ,·).Il estutiled ereprésenter lesmesuresdeprobabilité "surXpardesvecteursen ligne ("(x 1 ),"(x 2 ),...,"(x k ),...).Alors,si" 0 estlaloi deX 0 ,quipeutêtrearbitraire,ona P[(X 0 ,X 1 ,...,X n )=(x 0 ,x 1 ,...,x n )]="(x 0 )P(x 0 ,x 1 )···P(x n"1 ,x n 7

82. CHAÎNE SDEMARKOV

parconditionneme ntsuccessif,desortequ'enparticulierlaloi" n deX n estdonnée par leproduit matriciel" n 0 P n .D'unpo intdevuedual,sifestunefonction bornéesur

X,vuecommeunvecteurcolonne,alors

E[f(X n+1 )|X 0 =x 0 ,...,X n =x n ]=(Pf)(x n E[f(X n n f=" 0 P n f. Notonsquelesproduitsmatriciels considérésso ntlicites mêmelorsquel'espace d'états estinfinidénom brable,puisqu'ona desbonnesbornessur lessommesde coe cientssur chaquelignedelam atricedetransi tion. Exemple.Onrepr ésenteusuellementunechaînedeMa rkovd'espaced'étatsXpar ungra pheorientéétiquetéG=(V,E)dontlessommetssont leséléments deX,etdont lesarê tesétiquetéessontlescouples (x,y)avecP(x,y)>0,lavaleurdelaprobabilité detransitio nétantl'étiquettedel'arêtex#y.Con sidéronsparexemplelachaînede Markovd'espaced' états[[1,N]],etdematricedetransition P= 1 3 111
11 .11 111
1 31
3 1 3 9 Leg rapheassociéestdessinéci-dessus, etlachaîneconsidéréeestl amarc hea léatoire surlecercle Z/NZoù,àchaq ueét ape,onaprobabilité1/3derestera umêmeendro it,et probabilité1/3desauter àgaucheo uàdro ite.Lesloismarginalesdecettec haînepeuvent êtrecalculéesco mmesuit.P ourtoutvecteurv!(C) Z/NZ ,notons

ˆv(k)=

1 N N j=1 v(j)# jk satransforméede Fourier discrète, avec#=e 2i!/N .D'autrepart,notonsC N lamatrice circulante C N 01 0 .1 10 ;P= I+C N +(C N "1 3

Pourtoutve cteurv,

(vC N )(k)=# k N parla transforméedeFourierdiscrètea gitdia gonalement,avec valeurs propres#,# 2 N .Il s'ensuitquesi Destlamat rice diagonale

D=diag

1+2cos

2! N 3

1+2cos

4! N 3

1+2cos

2N! N 3

1.MATR ICESSTOCHASTIQUESETPROP RIÉTÉDEMARKOV9

alorspourtout emesureiniti ale" 0 ,ona n 0 P n 0 D n où+·indiquelatra nsforméede Fourierinverse: +v(l)= 1 N N k=1 v(k)# "kl

Enpa rticulier,commeD

n pourtoutem esureinitiale" 0 ,laloimarginale" n convergeverslevecteur( 1 N 1 N C'estuncaspa rticul ierdesthé orèmesergodiquesquiserontévoqués auparagr aphe3.

Onpeu tmontrerqu epourtoutemesureinit iale"

0 surX,ettoutematricedetransition P,i lexist ee"ectivementunechaînedeMarkovave ccetteme sureinitialeetcett ematr ice detransitio n.OnnoteraP 0 etE 0 lesproba bilitésetespérancesrelativesà cettecha îne deMarko v,etdanslecasparti culie roù" 0 x estconcentrée enunseulpoint x!X, onnot eraP x etE x .Ces probab ilitésportentsurl'espacedestrajecto ires (X N ,P(X) #N munidelat ribupr oduit, etsurcetespace ,onaunicitéenloistraject oriel lesd'unech aîne deMark ovdeloiinitiale etmatr icedetra nsitiondonnées:laloiP 0 estentièremen tdé- terminéepar l'équation(!!).Cette propriété(!!)assurequelestransitionsd'unechaîne deMarko vautempsnsonthomogènesen temps(Pnedép endpasden),etne dépendent quedel'éta tprésen t,c'est-à-direque laloiconditionnellede X n+1 sachanttoutelatra- jectoire(X 0 ,...,X n )nedépend enfaitquede X n .Unereformulationdecesobservations estdonnée parlapropriétédeMarkov:

Proposition2.2.Si(X

n n!N estunechaîne deMarkov deloiP 0 ,alorspourtout m+n n!N estaussi unechaînede Markov, deloiP !m m indépendantede (X 0 ,...,X m"1 Ene et,onpeu tcalcu lerlesloist rajectoriellesdelachaîne deMarkovd écalée: P[X m =y 0 ,X m+1 =y 1 ,...,X m+n =y n x 0 ,x 1 ,...,x m!1 P[X 0 =x 0 ,...,X m"1 =x m"1 ,X m =y 0 ,...,X m+n =y n x 0 ,x 1 ,...,x m!1 0 (x 0 )P(x 0 ,x 1 )···P(x m"1 ,y 0 )P(y 0 ,y 1 )···P(y n"1 ,y n 0 P m )(y 0 )P(y 0 ,y 1 )···P(y n"1 ,y n m (y 0 )P(y 0 ,y 1 )···P(y n"1 ,y n etceson tbiencelles d'unechaînedematrice Petdemesure initiale" m

102.CH AÎNESD EMARKOV

1.2.Temp sd'arrêtetpropriétéd eMarkovforte.Unegénéra lisationdece

principeàdestempsa léatoires metenjeu lanotio ndetempsd'arrêt,ellemêmedépendant delano tionde filtrationd'espace.Soit(!,B,P)unespace deprobabilité; unefiltration decetespa ceestune suitecroissantede sous-trib us F 0 F 1 F 2 B.

Toutproce ssusaléatoire(X

n n!N définitune filtration(F n n!N enposan t F n =%(X 0 ,X 1 ,...,X n enpart iculier,unechaînedeMarkovdéfinitautom atiquemen tunefiltration.Ilf aut comprendreF n commel'ensemble desévénementsqu'on peutmesurer entrelestemps

0etn(àpart irdesobservations delachaîn edeMarkovX

0 ,X 1 ,...,X n ).Dans ce contexte,untempsd'arr êt(relativementàunefiltration(F n n!N )estunevariablealéa- toireT:(!,B,P)#N'{+(}tellequep ourto utn,l'événement{T=n}estdans F n .End 'a utrestermes,lorsquelafilt rationestcelleassoci éeàunechaînedeMarkov, untempsd'a rrêtTestuntemps aléatoiretelqu'on puissedéciderde {T=n}(oude {T)n})àpartirdesseulesobservationsdeX 0 ,...,X n .Parexemple,siAestunepartie deX,alorsletempsd'atteinte T A =inf{n!N,X n !A} estun tempsd'arrêt; parcontre, letempsdedernierpassage Q A =sup{n!N,X n !A} n'enestpa sun.

Onpeu tassocierunesou s-tribuF

T ={A!B|*n!N,A+{T=n}!F n }àtout tempsd'arrêt T;c'estlatribudesévénementsobservablesjusqu'autempsT.Onnote alors" T lalo ideX T .Cet tedéfinition estambiguëlorsque{T=+(}aprobabiliténon nulle:onconvie ntal orsque X T n'estdéfinie quesurl'év énementF T -mesurable{T<(}. Théorème2.3(Propri étédeMarkov).Soit(X n n!N unechaînede Markovde matrice detransition P,etTuntempsd 'ar rêtpoursafiltrationcanonique.Pourtoutefonction mesurablebornée fsurl'espac edestrajectoires, E 0 T<$ f((X T+n n!N )|F T T<$ E X T [f((X n n!N lesdeux membresde l'identitéétantFquotesdbs_dbs29.pdfusesText_35

[PDF] [PDF] Chaînes de Markov Pour une chaîne de

Comment calculer la période d'une chaîne de Markov ?

Comment montrer qu'une chaîne de Markov est irréductible ?

Comment montrer qu'une suite est une chaîne de Markov ?

Chapitre2

ChaînesdeMarkov

àpartird'untemps(d'arrêt)T,(X

1.Ma tricesstochastiqueset propriétédeMarkov

1.1.Cha înesdeMarkov.UnematricestochastiquesurXestunefonction P:

P(x,y)=1.

Ainsi,lalo iconditio nnelleP

82. CHAÎNE SDEMARKOV

X,vuecommeunvecteurcolonne,alors

ˆv(k)=

Pourtoutve cteurv,

D=diag

1+2cos

1+2cos

1+2cos

1.MATR ICESSTOCHASTIQUESETPROP RIÉTÉDEMARKOV9

Enpa rticulier,commeD

Onpeu tmontrerqu epourtoutemesureinit iale"

Proposition2.2.Si(X

102.CH AÎNESD EMARKOV

1.2.Temp sd'arrêtetpropriétéd eMarkovforte.Unegénéra lisationdece

Toutproce ssusaléatoire(X

0etn(àpart irdesobservations delachaîn edeMarkovX

Onpeu tassocierunesou s-tribuF