Chaînes de Markov - Université Paris-Saclay
1 Matrices stochastiques et propriété de Markov 1 1 Chaînes de Markov Une matrice stochastique sur X est une fonction P : (x,y) 2 X 7P(x,y) 2 [0,1] telle que, pour tout x 2 X, X y2X P(x,y)=1 Autrement dit, tout x 2 X définit une mesure de probabilité P(x,·) sur X,appelée probabilité de transition àpartirdex Définition 2 1
CHAÎNES DE MARKOV - u-bordeauxfr
peuvent être de probabilités nulles De fait dans les problèmes de modélisation, les chaînes de Markov sont données par la loi de X 0 et par toutes les probabilités de transition et les problèmes ne se posent pas L’indice nde la suite (X n) n 0 est interprété comme un temps La variable X k représente la position
INTRODUCTION AUX CHAÎNES DE MARKOV
-L’univers pour la durée de vie d’une ampoule électrique est ›˘[0,¯1[ Un évènement aléatoire A lié à l’expérience E est un sous-ensemble de › dont on peut dire au vu de l’expérience s’il est réalisé ou non
Graphes et chaînes de Markov
2 3 Chaîne de Markov homogène Définition 7 : Une chaîne de Markov est «homogène» si, pour tout i, j ∈ E, la probabilité p(X n=i)(Xn+1 =j)ne dépend pas de n On la note alors p ij La matrice P =(p ij)est appelé «matrice de transition» de la chaîne de Markov Remarque : Dans le cadre de la modélisation d’un processus en temps
Chaînes de Markov & algorithmes stochastiques
La chaine de Markov est dite homogène (en temps)lorsquedeplus On a un phénomène de mélange : l’unique loi invariante décrit la distribution de X n pour
Chaˆınes de Markov - idpoissonfr
Chaˆınes de Markov sur un ensemble fini 1 1 Exemples de chaˆınes de Markov Les chaˆınes de Markov sont intuitivement tr`es simples a d´efinir Un syst`eme peut admettre un certain nombre d’´etats diff´erents L’´etat change au cours du temps discret A chaque
Chaînes de Markov Examen
On suppose que les tirages au hasard de l’étape 1 sont indépendants pour des temps distincts, de sorte que (X n) n2N est une chaîne de Markov I 1Donner l’espace des états X et la matrice de transition Pde la chaîne de Markov (X n) n2N I 2La chaîne de Markov (X n) n2N est-elle irréductible? I 3On note f(k) = P k[9n2N; X n = 0] = P k
TP8/9 : Chaînes de Markov
Les chaînes de Markov aux concours (EDHEC 2017) L’épreuve EDHEC 2017 portait sur le déplacement au cours du temps d’un mobile sur les 4 sommets d’uncarré Voiciuneretranscriptiondel’énoncé
Chapitre 8 Chaˆınes de Markov
Chapitre 8 Chaˆınes de Markov 8 1 La matrice de transition Une suite de variables al·eatoires {Xn}n 0 ‘a valeurs dans l’espace d·enombrable E est appel·e processus stochastique (‘a temps discret) (‘a valeurs dans E)
[PDF] chaine de markov matrice de transition
[PDF] exercice corrigé chaine de markov a etat absorbante
[PDF] chaine d'acquisition de données
[PDF] chaine de mesure audioprothèse
[PDF] acquisition de données du capteur ? l ordinateur
[PDF] chaine de mesure pdf
[PDF] chaine d'acquisition capteur
[PDF] les capteurs exercices corrigés
[PDF] chaine de markov apériodique
[PDF] chaine de markov apériodique exemple
[PDF] chaine de markov reversible
[PDF] chaine de markov récurrente
[PDF] chaine de markov exemple
[PDF] chaine de markov irreductible exemple
Chapitre2
ChaînesdeMarkov
Résumé.Unechaînede Markovestunpro cessusaléatoire(X n n!N dont lestransitio nssontdonnéesparune matricestochastiqueP(X n ,X n+1 Cesproc essusvérifientlapropriétéde Markov,c'est-à-direqu'ob servésàpartird'untemps(d'arrêt)T,(X
T+n n!N nedépend quedeX T etest denouv eauunechaînedeMarkov. Lesétatsd 'unechaînedeMarkov peuventêtreclassése ndeuxcatégo ries:lesétatstr ansitoires,quine sontvisitésqu'unnombre finidefois p.s.,etles étatsr écurrents,quiune foisatteints sontvisités p.s.uneinfinitédefois, ainsiquetouslesautres étatsdanslamême classederéc urrenc e.Pourunecha înedeMarkov irréductiblerécu rrente,lamesureempiriqueetlaloima rgina ledupro - cessusconv ergentsoitversl'uniquemesuredeprobabilitéP-invariante (récurrencepositive),soit verslevecteur nul(récurrencenulle).Cette théories'appliqueen particulierauxmarchesaléatoiresetau xmodèles defilesd'attente. Danscequis uit,onfixeune spac ed'étatsXfiniou dénombrable,muni delatribude l'ensembledesparties P(X).SiXestfini,on noteraNsonnombre d'éléments.1.Ma tricesstochastiqueset propriétédeMarkov
1.1.Cha înesdeMarkov.UnematricestochastiquesurXestunefonction P:
(x,y)!X"#P(x,y)![0,1]telleque,p ourto utx!X, y!XP(x,y)=1.
Autrementdit,tout x!Xdéfinitunemesure de probabilité P(x,·)surX,appelée probabilitédetransitionàpartirdex. Définition2.1(Chaîne deMarkov).Unechaîne deMar kovsur Xdematric ede transitionPestune suitedevariablesaléatoir es(X n n!N définiessurun espace (!,B,P) età valeursdans X,tellequepourtoutn,ettouspointsx 0 ,...,x n+1 P[X n+1 =x n+1 |X 0 =x 0 ,...,X n =x n ]=P(x n ,x n+1Ainsi,lalo iconditio nnelleP
X n+1 |(X 0 ,...,Xn) estlaprobabilité detransitio nP(X n ,·).Il estutiled ereprésenter lesmesuresdeprobabilité "surXpardesvecteursen ligne ("(x 1 ),"(x 2 ),...,"(x k ),...).Alors,si" 0 estlaloi deX 0 ,quipeutêtrearbitraire,ona P[(X 0 ,X 1 ,...,X n )=(x 0 ,x 1 ,...,x n )]="(x 0 )P(x 0 ,x 1 )···P(x n"1 ,x n 782. CHAÎNE SDEMARKOV
parconditionneme ntsuccessif,desortequ'enparticulierlaloi" n deX n estdonnée par leproduit matriciel" n 0 P n .D'unpo intdevuedual,sifestunefonction bornéesurX,vuecommeunvecteurcolonne,alors
E[f(X n+1 )|X 0 =x 0 ,...,X n =x n ]=(Pf)(x n E[f(X n n f=" 0 P n f. Notonsquelesproduitsmatriciels considérésso ntlicites mêmelorsquel'espace d'états estinfinidénom brable,puisqu'ona desbonnesbornessur lessommesde coe cientssur chaquelignedelam atricedetransi tion. Exemple.Onrepr ésenteusuellementunechaînedeMa rkovd'espaced'étatsXpar ungra pheorientéétiquetéG=(V,E)dontlessommetssont leséléments deX,etdont lesarê tesétiquetéessontlescouples (x,y)avecP(x,y)>0,lavaleurdelaprobabilité detransitio nétantl'étiquettedel'arêtex#y.Con sidéronsparexemplelachaînede Markovd'espaced' états[[1,N]],etdematricedetransition P= 1 3 11111 .11 111
1 31
3 1 3 9 Leg rapheassociéestdessinéci-dessus, etlachaîneconsidéréeestl amarc hea léatoire surlecercle Z/NZoù,àchaq ueét ape,onaprobabilité1/3derestera umêmeendro it,et probabilité1/3desauter àgaucheo uàdro ite.Lesloismarginalesdecettec haînepeuvent êtrecalculéesco mmesuit.P ourtoutvecteurv!(C) Z/NZ ,notons