[PDF] [PDF] Chaînes de Markov (et applications)

[PDF] CHAÎNES DE MARKOV - Institut de Mathématiques de Bordeaux

Soit Xn est une chaîne de Markov de matrice de transition P, et soit ν0 la loi de On vérifie avec le graphe qu'il y a une seule classe (récurrente), la chaîne est 

[PDF] Introduction aux chaines de Markov - CERMICS

Une chaıne de Markov est dite transiente (resp récurrente) si tous les états sont transients (resp récurrents) On pose Nx = ∑n∈N 1{Xn=x} le nombre de visites  

[PDF] Chaînes de Markov et Processus markoviens de sauts Applications

Théorème 4 Soit (Xn)n≥0 une chaîne de Markov de matrice de transition P récurrente ir- réductible Alors il existe une unique mesure invariante strictement  

[PDF] Chaînes de Markov

La suite (Xn) est récurrente, satisfait une loi des grands nombres : lim n→+∞ 1 n n ∑ Une chaîne de Markov, de distribution initiale ν et matrice de transition

[PDF] Chaînes de Markov

Pour une chaîne de Markov irréductible récurrente, la mesure empirique et la loi marginale du pro- cessus convergent soit vers l'unique mesure de probabilité 

[PDF] Chaînes de Markov (et applications)

22 fév 2021 · Soit Q la matrice de transition d'une chaîne de Markov homogène Etant donné On va montrer que c'est une chaîne de Markov récurrente 1

[PDF] Chaînes de Markov - Institut Camille Jordan

1 7 2 Chaîne de Markov en temps continu et espace discret 27 d est récurrente lorsque d ≤ 2 et transiente lorsque d ≥ 3 Pour cela, on se propose 

[PDF] chaines-Markov - Université de Montréal

Si ce syst`eme n'a pas de solution, la chaˆıne est transitoire ou récurrente nulle Justification intuitive La proportion des transitions o`u on part de i pour aller `a j 

[PDF] Chaînes de Markov - Université de Lorraine

(Xn;n ≥ 0) est une chaîne de Markov de loi initiale µ et de probabilité de Exprimer P(Zn = 0) en fonction de f◦n (on reconnaîtra une suite récurrente) En

[PDF] chaine de markov exemple

[PDF] chaine de markov irreductible exemple

[PDF] chaine de markov exercice corrigé

[PDF] chaine énergétique barrage hydraulique

[PDF] chaine énergétique d'une éolienne

[PDF] exercice corrigé centrale hydraulique

[PDF] chaine énergétique centrale thermique

[PDF] chaine énergétique pile

[PDF] chaine énergétique exercices

[PDF] chaine énergétique éolienne

[PDF] chaine énergétique panneau solaire

[PDF] chaine energetique definition

[PDF] chaine énergétique exemple

[PDF] cours de logistique de distribution pdf

[PDF] introduction logistique

Chapitre2

ChaînesdeMarkov

Résumé.Unechaînede Markovestunpro cessusaléatoire(X n n!N dont lestransitio nssontdonnéesparune matricestochastiqueP(X n ,X n+1 Cesproc essusvérifientlapropriétéde Markov,c'est-à-direqu'ob servés

àpartird'untemps(d'arrêt)T,(X

T+n n!N nedépend quedeX T etest denouv eauunechaînedeMarkov. Lesétatsd 'unechaînedeMarkov peuventêtreclassése ndeuxcatégo ries:lesétatstr ansitoires,quine sontvisitésqu'unnombre finidefois p.s.,etles étatsr écurrents,quiune foisatteints sontvisités p.s.uneinfinitédefois, ainsiquetouslesautres étatsdanslamême classederéc urrenc e.Pourunecha înedeMarkov irréductiblerécu rrente,lamesureempiriqueetlaloima rgina ledupro - cessusconv ergentsoitversl'uniquemesuredeprobabilitéP-invariante (récurrencepositive),soit verslevecteur nul(récurrencenulle).Cette théories'appliqueen particulierauxmarchesaléatoiresetau xmodèles defilesd'attente. Danscequis uit,onfixeune spac ed'étatsXfiniou dénombrable,muni delatribude l'ensembledesparties P(X).SiXestfini,on noteraNsonnombre d'éléments.

1.Ma tricesstochastiqueset propriétédeMarkov

1.1.Cha înesdeMarkov.UnematricestochastiquesurXestunefonction P:

(x,y)!X"#P(x,y)![0,1]telleque,p ourto utx!X, y!X

P(x,y)=1.

Autrementdit,tout x!Xdéfinitunemesure de probabilité P(x,·)surX,appelée probabilitédetransitionàpartirdex. Définition2.1(Chaîne deMarkov).Unechaîne deMar kovsur Xdematric ede transitionPestune suitedevariablesaléatoir es(X n n!N définiessurun espace (!,B,P) età valeursdans X,tellequepourtoutn,ettouspointsx 0 ,...,x n+1 P[X n+1 =x n+1 |X 0 =x 0 ,...,X n =x n ]=P(x n ,x n+1

Ainsi,lalo iconditio nnelleP

X n+1 |(X 0 ,...,Xn) estlaprobabilité detransitio nP(X n ,·).Il estutiled ereprésenter lesmesuresdeprobabilité "surXpardesvecteursen ligne ("(x 1 ),"(x 2 ),...,"(x k ),...).Alors,si" 0 estlaloi deX 0 ,quipeutêtrearbitraire,ona P[(X 0 ,X 1 ,...,X n )=(x 0 ,x 1 ,...,x n )]="(x 0 )P(x 0 ,x 1 )···P(x n"1 ,x n 7

82. CHAÎNE SDEMARKOV

parconditionneme ntsuccessif,desortequ'enparticulierlaloi" n deX n estdonnée par leproduit matriciel" n 0 P n .D'unpo intdevuedual,sifestunefonction bornéesur

X,vuecommeunvecteurcolonne,alors

E[f(X n+1 )|X 0 =x 0 ,...,X n =x n ]=(Pf)(x n E[f(X n n f=" 0 P n f. Notonsquelesproduitsmatriciels considérésso ntlicites mêmelorsquel'espace d'états estinfinidénom brable,puisqu'ona desbonnesbornessur lessommesde coe cientssur chaquelignedelam atricedetransi tion. Exemple.Onrepr ésenteusuellementunechaînedeMa rkovd'espaced'étatsXpar ungra pheorientéétiquetéG=(V,E)dontlessommetssont leséléments deX,etdont lesarê tesétiquetéessontlescouples (x,y)avecP(x,y)>0,lavaleurdelaprobabilité detransitio nétantl'étiquettedel'arêtex#y.Con sidéronsparexemplelachaînede Markovd'espaced' états[[1,N]],etdematricedetransition P= 1 3 111
11 .11 111
1 31
3 1 3 9 Leg rapheassociéestdessinéci-dessus, etlachaîneconsidéréeestl amarc hea léatoire surlecercle Z/NZoù,àchaq ueét ape,onaprobabilité1/3derestera umêmeendro it,et probabilité1/3desauter àgaucheo uàdro ite.Lesloismarginalesdecettec haînepeuvent êtrecalculéesco mmesuit.P ourtoutvecteurv!(C) Z/NZ ,notons

ˆv(k)=

1 N N j=1 v(j)# jk satransforméede Fourier discrète, avec#=e 2i!/N .D'autrepart,notonsC N lamatrice circulante C N 01 0 .1 10 ;P= I+C N +(C N "1 3

Pourtoutve cteurv,

(vC N )(k)=# k N parla transforméedeFourierdiscrètea gitdia gonalement,avec valeurs propres#,# 2 N .Il s'ensuitquesi Destlamat rice diagonale

D=diag

1+2cos

2! N 3

1+2cos

4! N 3

1+2cos

2N! N 3

1.MATR ICESSTOCHASTIQUESETPROP RIÉTÉDEMARKOV9

alorspourtout emesureiniti ale" 0 ,ona n 0 P n 0 D n où+·indiquelatra nsforméede Fourierinverse: +v(l)= 1 N N k=1 v(k)# "kl

Enpa rticulier,commeD

n pourtoutem esureinitiale" 0 ,laloimarginale" n convergeverslevecteur( 1 N 1 N C'estuncaspa rticul ierdesthé orèmesergodiquesquiserontévoqués auparagr aphe3.

Onpeu tmontrerqu epourtoutemesureinit iale"

0 surX,ettoutematricedetransition P,i lexist ee"ectivementunechaînedeMarkovave ccetteme sureinitialeetcett ematr ice detransitio n.OnnoteraP 0 etE 0 lesproba bilitésetespérancesrelativesà cettecha îne deMarko v,etdanslecasparti culie roù" 0 x estconcentrée enunseulpoint x!X, onnot eraP x etE x .Ces probab ilitésportentsurl'espacedestrajecto ires (X N ,P(X) #N munidelat ribupr oduit, etsurcetespace ,onaunicitéenloistraject oriel lesd'unech aîne deMark ovdeloiinitiale etmatr icedetra nsitiondonnées:laloiP 0 estentièremen tdé- terminéepar l'équation(!!).Cette propriété(!!)assurequelestransitionsd'unechaîne deMarko vautempsnsonthomogènesen temps(Pnedép endpasden),etne dépendent quedel'éta tprésen t,c'est-à-direque laloiconditionnellede X n+1 sachanttoutelatra- jectoire(X 0 ,...,X n )nedépend enfaitquede X n .Unereformulationdecesobservations estdonnée parlapropriétédeMarkov:

Proposition2.2.Si(X

n n!N estunechaîne deMarkov deloiP 0 ,alorspourtout m+n n!N estaussi unechaînede Markov, deloiP !m m indépendantede (X 0 ,...,X m"1 Ene et,onpeu tcalcu lerlesloist rajectoriellesdelachaîne deMarkovd écalée: P[X m =y 0 ,X m+1 =y 1 ,...,X m+n =y n x 0 ,x 1 ,...,x m!1 P[X 0 =x 0 ,...,X m"1 =x m"1 ,X m =y 0 ,...,X m+n =y n x 0 ,x 1 ,...,x m!1 0 (x 0 )P(x 0 ,x 1 )···P(x m"1 ,y 0 )P(y 0 ,y 1 )···P(y n"1 ,y n 0 P m )(y 0 )P(y 0 ,y 1 )···P(y n"1 ,y n m (y 0 )P(y 0 ,y 1 )···P(y n"1 ,y n etceson tbiencelles d'unechaînedematrice Petdemesure initiale" m

102.CH AÎNESD EMARKOV

1.2.Temp sd'arrêtetpropriétéd eMarkovforte.Unegénéra lisationdece

principeàdestempsa léatoires metenjeu lanotio ndetempsd'arrêt,ellemêmedépendant delano tionde filtrationd'espace.Soit(!,B,P)unespace deprobabilité; unefiltration decetespa ceestune suitecroissantede sous-trib us F 0 F 1 F 2 B.

Toutproce ssusaléatoire(X

n n!N définitune filtration(F n n!N enposan t F n =%(X 0 ,X 1 ,...,X n enpart iculier,unechaînedeMarkovdéfinitautom atiquemen tunefiltration.Ilf aut comprendreF n commel'ensemble desévénementsqu'on peutmesurer entrelestemps

0etn(àpart irdesobservations delachaîn edeMarkovX

0 ,X 1 ,...,X n ).Dans ce contexte,untempsd'arr êt(relativementàunefiltration(F n n!N )estunevariablealéa- toireT:(!,B,P)#N'{+(}tellequep ourto utn,l'événement{T=n}estdans F n .End 'a utrestermes,lorsquelafilt rationestcelleassoci éeàunechaînedeMarkov, untempsd'a rrêtTestuntemps aléatoiretelqu'on puissedéciderde {T=n}(oude {T)n})àpartirdesseulesobservationsdeX 0 ,...,X n .Parexemple,siAestunepartie deX,alorsletempsd'atteinte T A =inf{n!N,X n !A} estun tempsd'arrêt; parcontre, letempsdedernierpassage Q A =sup{n!N,X n !A} n'enestpa sun.

Onpeu tassocierunesou s-tribuF

T ={A!B|*n!N,A+{T=n}!F n }àtout tempsd'arrêt T;c'estlatribudesévénementsobservablesjusqu'autempsT.Onnote alors" T lalo ideX T .Cet tedéfinition estambiguëlorsque{T=+(}aprobabiliténon nulle:onconvie ntal orsque X T n'estdéfinie quesurl'év énementF T -mesurable{T<(}. Théorème2.3(Propri étédeMarkov).Soit(X n n!N unechaînede Markovde matrice detransition P,etTuntempsd 'ar rêtpoursafiltrationcanonique.Pourtoutefonction mesurablebornée fsurl'espac edestrajectoires, E 0 T<$ f((X T+n n!N )|F T T<$ E X T [f((X n n!N lesdeux membresde l'identitéétantFquotesdbs_dbs29.pdfusesText_35