CHAÎNES DE MARKOV
Evidemment si X0 suit la loi stationnaire ?
Chaînes de Markov (et applications)
22 févr. 2021 Soit Q la matrice de transition d'une chaîne de Markov homogène. Etant donné un état ... a) Donner un exemple de graphe non-apériodique.
Chaînes de Markov.
Si Pn(xy) = P(Xn+1 = y
Xn = x) ne dépend pas de n
la matrice P obtenue est stochastique. A. Popier (ENSAI).
Cours de Tronc Commun Scientifique Recherche Opérationnelle
On pourra aussi dire (grâce au théor`eme ergodique cf poly) : en moyenne
Chaînes de Markov
n Pn i=1 ?Xi . Exemple. Pour la marche aléatoire sur Z/NZ on a vu déjà que la loi marginale ?n convergeait vers ?1.
Chapitre 8 Chaˆ?nes de Markov
En effet si on fait la somme des équations de ?T P = ?T on obtient ?T P1 = ?T 1
Classification des états de la Chaîne de Markov Classification des
communiquent entre eux càd il y a une seule classe d'équivalence. 17. Classification des états de la Chaîne de. Markov. ? Exemple:.
Chaînes de Markov et Processus markoviens de sauts. Applications
Cela signifie qu'en observant la chaîne jusqu'à l'instant n on peut décider si {T = n} a lieu ou non. Exemple 4 On définit la variable Sx par: Sx = inf{n ? N
Chaînes de Markov
chaînes de Markov irréductibles et apériodiques. Exercice 70 Reprendre tous les exemples de noyaux de transition vus précédemment et étudier leur période.
Chaines de Markov et protocole de gestion des communications
Si on se ramène à un exemple concret cela donne : Soit un panier de 3 boules rouges et 4 boules vertes. Nommons A l'événement « je pioche une boule rouge » et B
[PDF] CHAÎNES DE MARKOV - Institut de Mathématiques de Bordeaux
Les chaînes de Markov constituent un des exemples les plus simples de Une chaîne apériodique est une chaîne de dont tous les états sont apériodiques
[PDF] Chaînes de Markov (et applications)
22 fév 2021 · Exemples et définitions Idée : Une chaîne de Markov est une suite de variables aléatoires dans le temps ou conditionnel-
[PDF] Chaînes de Markov
Exemple On représente usuellement une chaîne de Markov d'espace d'états X par Si la chaîne de Markov est apériodique alors pour toute mesure initiale
[PDF] Chapitre 8 Chaˆ?nes de Markov - DI ENS
C'est pour cela que les cha?nes de Markov trouvent des applications dans beaucoup de domaines comme par exemple la biologie la physique la sociologie
[PDF] CHAÎNES DE MARKOV - ceremade
5 3 4 Graphe associé à une chaîne de Markov homogène Le but de la théorie des probabilités est de fournir un modèle mathématique pour décrire les
[PDF] Chaînes de Markov - Institut Camille Jordan
chaînes de Markov irréductibles et apériodiques Exercice 70 Reprendre tous les exemples de noyaux de transition vus précédemment et étudier leur période
[PDF] Chaînes de Markov
Processus de branchement : de nombreux exemples de chaînes de Markov in- réductible apériodique pour laquelle il existe une probabilité invariante ?
[PDF] Introduction aux chaines de Markov - CERMICS
En considérant un espace d'état `a deux éléments donner un contre-exemple pour la réciproque ? On consid`ere (Xnn ? N) une cha?ne de Markov de matrice de
[PDF] chaines-Markovpdf - Université de Montréal
Si Xn n'atteint jamais A on a N = ? On peut vouloir calculer par exemple ? = P[N ? m X0 = i] Dans
[PDF] Chaˆ?nes de Markov
2 jan 2019 · 1 1 Exemples de chaˆ?nes de Markov Les cha?nes de Markov sont intuitivement tr`es simples `a définir Un syst`eme peut admettre
CHAÎNES DE MARKOV
Préparation à l"Agrégation Bordeaux 1
Année 2012 - 2013
Jean-Jacques Ruch-Marie-Line Chabanol
Table des Matières
Chapitre I. Chaînes de Markov5
1. Définition5
2. Exemples7
3. La relation de Chapman-Kolmogorov 9
4. Classification des états 12
5. Périodicité13
6. Etats récurrents et transients 14
7. Lois de probabilités stationnaires 18
7.A. Chaînes de Markov à espace d"états fini : lois invariantes 19
7.B. Retour au cas général : états récurrents nuls et états récurrents positifs 22
7.C. Cas général : retour aux mesures stationnaires 23
7.D. Cas général : convergence, théorème ergodique 26
3CHAPITRE I
Chaînes de Markov
Ce chapitre est fortement inspiré des livres de Bercu (modélisation stochastique et simulation), Toulouse
(Thèmes de probabilités et statistique) et Foata-Fuchs (Processus stochastiques)Les chaînes de Markov constituent un des exemples les plus simples de suites de variables aléatoires
(Xn). Les variables(Xn)sont à valeurs dans un ensembleEappeléespace d"état. Certaines chaînes de
Markov sont à espace d"états continu, mais nous n"aborderons pas leur étude ici. Nous nous intéresserons
uniquement aux chaînes à espace d"états fini ou dénombrable. Dans toute la suiteEsera donc un ensemble
fini ou dénombrable (Nou un sous-ensemble), que l"on munira de la tribu de toutes ses parties.1. Définition
Soit(Xn)n0une suite de variables aléatoires à valeurs dans un ensemble au plus dénombrable E. La loi de
la suite(Xn)n0est une loi surENmuni de la tribu engendrée par les cylindres. En vertu d"un théorème
de Carathéodory, la loi de la suite(Xn)n0est caractérisée par ses lois marginales de dimension finie,
c"est-à-dire par la loi des vecteurs aléatoires(X0;:::;Xn)pour toutn2N. Or,Eest au plus dénombrable,
et donc la loi de(X0;:::;Xn)est caractérisée à son tour par la donnée deP(Xn=xn;:::;X0=x0)pour
tout(x0;:::;xn)dansE. Définition 1.Une suite(Xn)n0de variables aléatoires à valeurs dans un ensemble au plus dénombrableEest unechaîne de Markovd"espace d"étatsEsi et seulement si pour toutk2N, pour tout(x0;:::;xk+1)dansEtels queP(Xk=xk;:::;X0=x0)>0,P(Xk+1=xk+1jXk=xk;:::;X0=x0) =P(Xk+1=xk+1jXk=xk):
Cela s"écrit également
L(Xk+1jXk=xk;:::;X0=x0) =L(Xk+1jXk=xk)
pour toutk2N. La chaîne est ditehomogènesi on a de plus pour toutk2Net toutxetydansE,P(Xk+1=yjXk=x) =P(X1=yjX0=x):Remarque :En toute rigueur il faudrait faire attention quand les événements par lesquels on conditionne
peuvent être de probabilités nulles. De fait dans les problèmes de modélisation, les chaînes de Markov
sont données par la loi deX0et par toutes les probabilités de transition et les problèmes ne se posent
pas.L"indicende la suite(Xn)n0est interprété comme un temps. La variableXkreprésente la position
spatiale à l"instantk, la tribu(X0;:::;Xk1)représente son passé tandis que la tribu(Xk+1;Xk+2;:::)
représente son futur. Les chaînes de Markov sont des suites aléatoires sans mémoire, en quelque sorte.
Dans l"évolution au cours du temps, l"état du processus à un instant futur ne dépend que de celui à
l"instant présent, mais non de ses états antérieurs. On dit souvent que conditionnellement au présent, passé et futur sont indépendants.Dans toute la suite, les chaînes Markov considérées seront toutes homogènes et à espace d"états au plus
dénombrable. 56Chapitre I. Chaînes de Markov
Définition 2.On appelleprobabilité de transitionpour aller de l"étatxà l"étatyla probabilité
px;y=P(Xk+1=yjXk=x) (=P(X1=yjX0=x)):Lemme 3.On note0la loi deX0(0(x0) =P(X0=x0)). On a alors pour tous(x0;:::;xn)dansE
P(Xn=xn;:::;X0=x0) =0(x0)n1Y
k=0p xk;xk+1:Démonstration.Par conditionnements successifs : P(Xn=xn;:::;X0=x0) =P(X0=x0)P(X1=x1jX0=x0)P(X2=x2jX1=x1;X0=x0):::P(Xn= x njXn1=xn1;:::;X0=x0) =(x0)Qn1 k=0pxk;xk+1: Définition 4.On appellematrice de transitionla matriceP= (px;y)x;y2E: P=0 B @p x0;x0px0;x1px0;x2 p x1;x0px1;x1px1;x2 .........1 C A:D"après le lemme précédent, la loi d"une chaîne de Markov est caractérisée par la loi0deX0et par
sa matrice de transitition.C"est une matrice finie ou dénombrable, suivant que l"ensemble des états est fini ou dénombrable.
Proposition 5.Toute matrice de transition vérifie les propriétés suivantes : (1)pour tout couple(x;y)deE,0px;y1; (2)pour toutx2E, on aPy2Epx;y= 1.Démonstration.Les nombrespx;ysont des probabilités, donc le premier point est évident. Le
second point découle du fait qu"on somme les probabilités sur toutes les valeurs possibles d"une variable
aléatoire. Une matrice qui vérifie les deux points ci-dessus est appeléematrice stochastique. Proposition 6.SoitPune matrice stochastique. Alors (1)Padmet1comme valeur propre;(2)le vecteurVayant toutes ses composantes égales à1est un vecteur propre associé à cette valeur
propre.Démonstration.Il suffit de multiplier la matricePpar le vecteurV. Lemme 7.On identifiera une probabilitésurEet le vecteur ligne dont laième coordonnée est (xi). SoitXnest une chaîne de Markov de matrice de transitionP, et soit0la loi deX0. Alors la loi de X1est1=0P, et pour tout entiern, la loi deXnestn=0Pn.
En particulier, si la chaîne part dexi,0= (0;:::;0;1;0:::;0)etP(Xn=xj) =P(Xn=xjjX0= x i) =Pni;j.Jean-Jacques Ruch
2.Exemples7
Démonstration.Pour le premier point, on a pour toutxideE,P(X1=xi) =P
x j2EP(X1=xijX0=xj)P(X0=xj) =P x j2E0(xj)Pj;i= (0P)i. (en posant par conventionP(AjB)P(B) = 0siP(B) = 0). Ensuite on peut procéder par récurrence. On note(Qn)la propositionn=0Pn. On vient de prouver Q1. Il reste à vérifier l"hérédité. Soitn >0. On supposen=0Pn. Alors pour toutxideE,
P(Xn+1=xi) =P
x j2EP(Xn+1=xijXn=xj)P(Xn=xj) =P x j2En(j)Pj;i=0Pn+1. Ainsi l"évolution de la loi deXnse ramène en fait à de l"algèbre linéaire.A toute matrice de transition, on peut associer un graphe dirigé, éventuellement infini. Les sommets du
graphe sont les différents états de la chaîne. Il y a une flèche, étiquetéepx;y, entre le sommetxet le
sommetysi et seulement la probabilité de transition est strictement positive :px;y>0:La chaîne peut
alors s"interpréter comme une marche aléatoire sur le graphe.On verra plus tard que les composantes fortement connexes du graphe joueront un grand rôle, notamment
les composantes fermées.2. Exemples
Il y a des modèles classiques de chaînes de Markov homogènes, souvent rencontrés, avec lesquels il est
bon de se familiariser dès le début, en voici quelques-uns.La chaîne à deux états.
Si on exclut le cas trivial, la matrice de transition correspondante est de la forme P=1 10< ; <1:
Elle permet de faire des calculs explicites : pour toutn0, on peut évaluer lanièmepuissancePn, ainsi
que la limitelimnPn(exercice), et donc déterminer explicitement la loi deXn. Le graphe associé est très simple. Il a une seule composante fortement connexe, fermée.1 1Jean-Jacques Ruch
8Chapitre I. Chaînes de Markov
Le modèle de diffusion d"Ehrenfest
Deux urnesAetBcontiennent, à elles deux ,aboules, numérotées de1àa. A chaque instant, onchoisit une boule de façon uniforme, et on la change d"urne.Xncorrespond alors au nombre de boules
contenues dans l"urneAà l"instantn: l"ensemble des états est donc l"ensembleE=f0;1;:::;ag. Dans
ces conditions, par exemple, si à un instant l"urneAest vide (la chaîne est dans l"état 0), à l"instant
suivant l"urne contiendra 1 boule avec probabilité 1. Si à un instantAcontientiboules,0< i < a, à l"instant suivant elle contiendrai1oui+ 1boules, avec probabilité respectivement ia etdia . La matrice de transition est donc donnée par P=0 BBBBBBB@0 1 0 00 0 0
1=a0 (a1)=a00 0 0
0 2=a0 (a2)=a0 0 0
0 0 0 0(a1)=a0 1=a
0 0 0 00 1 01
CCCCCCCA
et le graphe par :Là encore il n"y a qu"une composante fortement connexe.SiX0=a, le processus(Xn)n0est une description simplifiée de la diffusion d"un gaz d"un récipientA
vers un récipientBinitialement vide (chaque boule représente une molécule).Promenade au hasard (ou marche aléatoire) surZ
On considère une chaîne de Markov homogène, d"espace d"étatsE=Z=f0;1;2;:::get de matrice de transitionP= (px;y) (x;y2Z), avec pour tout(x;y)2Z2, p x;y=8 :p;sij=i+ 11p;sij=i1
0;dans les autres cas
oùpest un nombre fixé tel que0< p <1. Un tel processus est appelé promenade aléatoire (ou marche
aléatoire) surZ. Son graphe peut être décrit comme suit :Jean-Jacques Ruch
3.La relation de Chapman-Kolmogorov9Là encore, le graphe a une seule composante fortement connexe.
Le modèle de la ruine du joueur
Un joueurAjoue contre un joueurBune suite de parties de pile ou face (avec une pièce éventuellement
pipée), indépendantes. Au départ,Apossèdeaeuros, etB b: la somme totale de leurs fortunes est de
a+beuros. A chaque partie on convient que le joueurAgagne1euro si le résultat est pile, sinon il perd
un euro. La probabilité d"obtenirpileestpavec0< p <1. Le jeu s"arrête dès que l"un des joueurs est
ruiné. Pour chaquen1, on désigne parXnla fortune du joueurAà l"issue de lanièmepartie. La suite
(Xn)n0est une chaîne de Markov, dont l"ensemble des états estE=f0;1;:::;a+bg.Sa matrice de transition est donnée par
P=0 BBBBBBB@1 0 0 00 0 0
q0p90 0 00q0p:::0 0 0
0 0 0 0q0p
0 0 0 00 0 11
CCCCCCCA
et son graphe parLes états0(ruine deA) eta+b(ruine deB) sont dits absorbants : quand on est dessus, on n"en sort
plus. Cette fois, le graphe a 3 composantes fortement connexes, dont deux seulement sont fermées.3. La relation de Chapman-Kolmogorov
On appelle ainsi la propriété qui relie, pour une chaîne de Markov homogène, les probabilités de transition
ennétapes aux probabilités en une seule étape. On note(Xn)n0une chaîne de Markov homogène, dont l"ensemble des états estEet la matrice de transitionP= (pi;j)(i;j)2E2. Pourn0eti;j2Eon désigne parp(n) i;jla probabilité, partant de l"étati à l"instant0, d"être dans l"étatjà l"instantn; en d"autres termes on a : p (n) i;j=P(Xn=jjX0=i)Comme on l"a vu dans le lemme 7,p(n)
i;jcorrespond àPn(i;j).On peut facilement vérifier :
Proposition 8.Pour toutn0la matricePnest stochastique.Jean-Jacques Ruch
10Chapitre I. Chaînes de Markov
Démonstration.En effet, pour touti2E, on a :X
j2Ep(n) i;j=X j2EP(Xn=jjX0=i) = 1:Ainsi, pour toutk1fixé, la suite(Xkn)n0est une chaîne de Markov, ayant même ensemble d"étatsE
et dont la matrice de transition estPk.La relation de Chapman-Kolmogorov qui suit peut s"interpréter en disant que "pour passer deiàjen
m+nétapes il a bien fallu enmétapes aller deià un certainkpuis ennétapes aller dekàj.Proposition 9. Relation de Chapman-Kolmogorov
Pour tout(i;j)2E2et tout couple(m;n)d"entiers positifs, on a l"identité :P(Xm+n=jjX0=i) =X
k2EP(Xm=kjX0=i)P(Xn=jjX0=k)quotesdbs_dbs15.pdfusesText_21[PDF] chaine de markov récurrente
[PDF] chaine de markov exemple
[PDF] chaine de markov irreductible exemple
[PDF] chaine de markov exercice corrigé
[PDF] chaine énergétique barrage hydraulique
[PDF] chaine énergétique d'une éolienne
[PDF] exercice corrigé centrale hydraulique
[PDF] chaine énergétique centrale thermique
[PDF] chaine énergétique pile
[PDF] chaine énergétique exercices
[PDF] chaine énergétique éolienne
[PDF] chaine énergétique panneau solaire
[PDF] chaine energetique definition
[PDF] chaine énergétique exemple