CHAÎNES DE MARKOV
Evidemment si X0 suit la loi stationnaire ?
IFT-3655 Modèles Stochastiques orange Chaînes de Markov en
On peut vouloir calculer par exemple ? = P[N ? m
Chapitre 2 - Chaines de Markov : compléments
Dans cette leçon nous examinons quelles sont les principales propriétés des cha?nes de. Markov et nous étudions quelques exemples suplémentaires. 2.1
Un exemple de chaîne de Markov dans lindustrie textile
UN EXEMPLE DE CHAINE DE MARKOV. DANS L'INDUSTRIE TEXTILE. F. VROOMEN. Ingénieur A.I.T.V.. (Chercheur de Centexbel au laboratoire A. PELTZER VERVIERS).
Cours de Tronc Commun Scientifique Recherche Opérationnelle
valuation de l'arête i ? j : pij . Une cha?ne de Markov peut être vue comme une marche aleatoire sur G
Chaînes de Markov (et applications)
22 févr. 2021 Soit Q la matrice de transition d'une chaîne de Markov homogène. ... Jusqu'ici on a uniquement pris des exemple où l'état initial était ...
Chaînes de Markov.
Une chaîne de Markov de distribution initiale ? et matrice de transition. P
CHAÎNES DE MARKOV Master MIMSE Bordeaux Dans tout ce cours
appelé processus de Markov et dans le cas où le temps est discret : chaîne de Markov. Exemples : (1) Gestion de stock : Dans de nombreuses situations
Classification des états dune chaîne de Markov
classes s'appellent les classes de communication. Exemple 1. Considérons le graphe suivant associé à une chaîne de Markov homogène dont.
Chaînes de Markov : théorie et applications
CONSTRUCTION ET EXEMPLES DE CHAÎNES DE MARKOV. 7. Définition intuitive. Soit P une matrice stochastique sur un espace d'états X et ?0 une mesure de.
[PDF] CHAÎNES DE MARKOV - Institut de Mathématiques de Bordeaux
Les chaînes de Markov constituent un des exemples les plus simples de suites de variables aléatoires (Xn) Les variables (Xn) sont à valeurs dans un
[PDF] CHAÎNES DE MARKOV - ceremade
5 3 4 Graphe associé à une chaîne de Markov homogène Par exemple on cherche la probabilité que la somme de deux dés lancés au hasard
[PDF] Chaînes de Markov - Institut Camille Jordan
1 2 Exemples Exercice 7 Vérifier qu'une suite de variables aléatoires i i d forme une chaîne de Markov Quels sont la loi initiale et le noyau de
[PDF] Chapitre 8 Chaˆ?nes de Markov - DI ENS
Cette technique qui est le moteur de la plupart des calculs en théorie des cha?nes de Markov va être illustrée par les exemple suivants Exemple 8 1 4: La
[PDF] Chaînes de Markov (et applications)
22 fév 2021 · Exemples et définitions Idée : Une chaîne de Markov est une suite de variables aléatoires dans le temps ou conditionnel-
[PDF] Chaînes de Markov : théorie et applications
comment construire explicitement une chaîne de Markov de loi initiale et matrice de transition données et présenter des exemples
[PDF] Chaînes de Markov
de transition étant l'étiquette de l'arête x ! y Considérons par exemple la chaîne de Markov d'espace d'états [[1N]] et de matrice de transition
[PDF] Chaînes de Markov
Exemples : vérifier dans chacun des exemples suivants que Xn est une chaîne de Markov homogène et préciser sa matrice de transition
[PDF] Introduction aux chaines de Markov - CERMICS
invariante ? : (? f) Ce résultat est l'analogue de la loi forte des grands nombres Nous donnons des exemples importants d'utilisation des cha?nes de Markov
[PDF] Chaînes de Markov - Mathieu Mansuy
4 Exemple du Google PageRank 10 Compétences attendues / Savoir écrire la matrice de transition d'une chaîne de Markov
Comment faire une chaîne de Markov ?
Une chaîne de Markov sur X de matrice de transition P est une suite de variables aléatoires (Xn)n2Ndéfinies sur un espace (?, b, P) et à valeurs dans X, telle que pour tout n, et tous points x0,,xn+1, P[Xn+1 = xn+1X0 = x0,,Xn = xn] = P(xn,xn+1).Comment montrer qu'une chaîne est une chaîne de Markov ?
= P(Xn+1 = yXn = xn). Cette preuve permet de montrer rigoureusement que la marche aléatoire sur Zd est bien une chaîne de Markov. Dans le monde déterministe, cela revient à étudier les suites (xn)n?0 définies par ré- currence de la manière suivante : xn+1 = f(xn,n).Comment calculer la période d'une chaîne de Markov ?
Cela conduit au calcul suivant : P(X2 = s/X0 = m) = P(X2 = s/X1 = m) · P(X1 = m/X0 = m) + P(X2 = s/X1 = s) · P(X1 = s/X0 = m) = 0,15 · 0,0,55 + 0,15 · 0,1=0,0975. La cha?ne n'est pas périodique comme on peut le voir facilement sur son diagramme en points et fl`eches.- Si une chaîne de Markov est irréductible et si son espace d'états est fini, tous ses états sont récurrents positifs. La loi forte des grands nombres est alors en vigueur. Plus généralement, tous les éléments d'une classe finale finie sont récurrents positifs, que l'espace d'états soit fini ou bien infini dénombrable.
Draft1
IFT-3655, Mod`eles Stochastiques
Chaˆınes de Markov en temps discret
Prof. Pierre L'Ecuyer
DIRO, Universit´e de Montr´eal
Ces "diapos" sont surtout un support pour les pr´esentations en classe. Elles ne contiennent pas toutes les explications d´etaill´ees. Pour cela il est recommand´e d'´etudier le livre recommand´e, de Sheldon Ross.Draft2
Chaˆıne de Markov en temps discret
On consid`ere un processus stochastique en
temps discret {Xn,n= 0,1,2,...}dont l'espace d'´etatsX(l'ensemble de tous les ´etats possibles) est d´enombrable. On va habituellement num´eroter les ´etats par des entiers non n´egatifs, et ainsi supposer queX={0,1,...,r} (ifini) ouX={0,1,2,...}(inifini).Ce processus est unec haˆınede Ma rkovhomog `enesi P[Xn+1=j|Xn=i,Xn-1=in-1,...,X1=i1,X0=i0] =P[Xn+1=j|Xn=i] =Pi,j. En d'autres mots, la loi de probabilit´e du prochain ´etatXn+1conditionnellement `al'histoire pass´ee ne d´epend que de l'´etat actuelXnet ne d´epend pas den.LesPi,jsont lesp robabilit´esde tran sitionde la cha ˆıne.
L'adjectif
homog `ene veut dire que ces p robabilit´esn ed ´ependentpas de n.Draft3
LesPi,jdoivent n´ecessairement satisfaire:
P i,j≥0 for alli,j;∞X j=1P i,j= 1 for alli.Ils sont les ´el´ements de la
matrice de transitionP=
P0,0P0,1P0,2···
P1,0P1,1P1,2···
P2,0P2,1P2,2···
Draft4
Exemple.Deux ´etats possibles: "il pleut" (0) et "il ne pleut pas" (1). Le temps est en jours. α=P[pluie demain|pluie aujourd'hui],β=P[pluie demain|pas de pluie aujourd'hui]. On aP=α1-α
β1-βExemple.Marche al´eatoiresur les entiers: P i,i+1=p= 1-Pi,i-1,pouri∈Z.Mod`ele de parieur: Comme ci-haut maisP0,0=PN,N= 1 pour unN>0. X nrepr´esente la fortune du joueur `a l'´etapen. QuandXn= 0, il est ruin´e; quandXn=N, il s'arrˆete de jouer.Draft5
Risque d'assurance d'un client: mod`ele Bonus-Malus Dans ce mod`ele,Xnrepr´esente le risque d'un client pour un assureur, en fonction de son historique d'accidents. L'id´ee est de d´eifinir un nombre ifini de cat ´egoriesde risque , et une chaˆıne de Markov dont les ´etats sont ces cat´egories.Un client dans l'´etatiqui akaccidents durant l'ann´ee passera `a l'´etatsi(k), o`u lessi(k)
sont sp´eciifi´es `a l'avance. Par exemple, on pourrait avoirsi(k) =i+k-I[k= 0] , ou bien si(k) =i+ 2k-I[k= 0], ou une fonction plus complexe.On suppose que le nombreYd'accidents par un client durant une ann´ee estPoisson(λ), o`u
le param`etreλ=λcpeut d´ependre du client et ˆetre inconnu. Si le client est dans l'´etati, il
auraY=kaccidents avec probabilit´ee-λλk/k!, et sa probabilit´e de passer `a l'´etatjest
P i,j=X {k:si(k)=j}e -λλk/k!Il y a difff´erentes fa¸cons d'utiliser ce mod`ele. Id´ealement, on voudrait pouvoir "apprendre"λc
et la loi des montants de r´eclamations, pour chaque client, en fonction de son historique.Draft6
´Equation de Chapman-Kolmogorov
Soit P(n) i,j=P[Xn=j|X0=i], la probabilit´e de passer dei`ajen exactementn´etapes.´Equation de Chapman-Kolmogorov: P (n+m) i,j=∞X k=0P[Xn+m=j|Xn=k]P[Xn=k|X0=i] =∞X k=0P(n) i,kP(m) k,j En notation matricielle, siP(n)est la matrice contenant lesP(n) i,j, cela donne P (n+m)=P(n)·P(m). En particulier,P(2)=P·P, et par induction surn, on aP(n)=P(n-1)·P=Pn. Similaire aux matrices donnant les nombres de chemins de longueurnentre chaque paire de sommets dans un graphe.Draft7
Exemple.Dans l'exemple de "pluie" vs "non pluie", supposons queα= 0.7 etβ= 0.4, de sorte queP=α1-α
β1-β
=0.7 0.30.4 0.6
les probabilit´es de transition en deux jours et en 4 jours sont: P2=0.61 0.39
0.52 0.48
,P4=0.5749 0.42510.5668 0.4332
Que se passe-t-il avecPnquandn→ ∞?On a
lim n→∞Pn=4/7 3/74/7 3/7
Les lignes sont identiques et donnent les
p robabilit´eslimites des deux ´ etats.Interpr´etation.
On verra plus loin des conditions p ourque cette limite existe.Draft8
Exemple.On dispose de balles rouges et de balles bleues, et d'une urne qui contient 2 balles.`A chaque ´etape, on tire une balle de l'urne et on la remplace par une balle de lamˆeme couleur avec probabilit´e 0.8 et de l'autre couleur avec probabilit´e 0.2. On d´eifinit une
chaˆıne o`uXnest lenomb rede balles rouges dans l'ur ne` al' ´etapen. L'espace d'´etats est
{0,1,2}et la matrice des probabilit´es de transition estP=
0.8 0.2 00.1 0.8 0.1
.0120.20.10.1
0.20.80.80.8
SiX0= 2 (2 balles rouges au d´epart), alors lap remi`ereballe tir ´eeest certainement rouge. Soitbnla probabilit´e que la (n+ 1)-i`eme balle tir´ee est rouge. On aura b n= 1·P[Xn= 2|X0= 2] + (1/2)P[Xn= 1|X0= 2] =P(n)2,2+P(n)
2,1/2.Par exemple, en calculantP4et on trouveP(4)
2,2= 0.4872 etP(4)
2,1= 0.4352, ce qui donne
b4= 0.4872 + 0.4352/2 = 0.7048.Que se passe-t-ilquand n→ ∞? On peut montrer quePnconverge vers une matrice dont les 3 lignes
sont (1/4,1/2,1/4), et quebn→1/2, ce qui correspond `a l'intuition.Draft9
Exemple 4.11 du livre: Encore le probl`eme du collectionneur de capsules. Il y aktypes de capsules.`A chaque ´etape on tire une capsule, avecp robabilit´e1 /kpour chaque type. SoitXnle nombre de types que l'on a apr`esntirages. Les probabilit´es de transition sontP0,1= 1,Pk,k= 1, P i,i=i/k= 1-Pi,i+1pouri0,k.Et si les probabilit´es ne sontpas toutes 1 /k?Le mod`ele aveck+ 1 ´etats ne tient plus.
L'´etat doit indiquer quelles capsules il nous manque! Donc 2 k´etats possibles.On pourrait vouloir "apprendre" ces probabilit´es `a partir d'observations.Draft10
Chaˆınes avec ´etats absorbants ou tabousParfois, pour une chaˆıne de Markov, on a un sous-ensemble d'´etatsA⊂ X et on s'int´eresse `a
un ´ev´enement qui d´epend deN= inf{n≥1 :Xn∈ A},l'instant de la p remi`erevisite ` aA, ou
du premier retour `aAsi on y est d´ej`a. SiXnn'atteint jamaisA, on aN=∞.On peut vouloir calculer par exemple
Dans ce genre de situation, on peut r´eduire la taille de la chaˆıne en fusionnant tous les ´etats
deAen un seul´ etatabso rbant, disons∆ . Quand la chaˆıne atteint cet ´etat, elle y reste.
La nouvelle chaˆıne{Wn,n≥0}est d´eifinie par W n=XnpournAinsiWn=Xnavant d'avoir atteints, et par la suiteWn=s= ∆.Par exemple, pours= 3, lesQi,jsont donn´es par
Q=
1/2 1/2 0 01/2 0 1/2 0
1/2 0 0 1/2
Pour chaquen>0, l'´el´ementQ(n)
On peut ainsi calculer toute la distribution deN.
Draft12
Contraintes sur les trajectoires
Sii,j̸∈ A, la probabilit´e queXm=jet que la chaˆıne n'ait pas visit´e l'ensembleAjusqu'`a
l'´etapems'´ecritα=P[Xm=j,N>m-1|X0=i].
Pour calculerα, il suiÌifiÌit de construireQet la chaˆıne{Wn,n≥0}comme ci-haut.L'´el´ementQ(m)
i,jdonne la probabilit´eαcherch´ee.Pour le cas o`uj∈ A, voir Ross (2014), page 193.Draft13
Classiification des ´etats
On dit qu'un ´etatjestacces siblede l' ´etatis'il existe unn≥0 tel quep(n) ij>0. Cela veutdire que si on est dans l'´etati, la probabilit´e d'atteindrej´eventuellement n'est pas nulle.
Notez queiest toujours accessible dei.
Deux ´etatsietjcommuniquentsi chacun est acce ssiblede l'autre. On note cela i↔j.La communication est une
relation d' ´equivalence : c'est r´elflexif et sym´etrique (d´ecoule directement de la d´eifinition), et aussi transitif (d´ecoule de l'´equation deChapman-Kolmogorov).
Les classes d'´equivalence forment une
pa rtition de l'espace d' ´etatsX.On les appelle les
classes de communicationLa chaˆıne est
irreductiblesi tous les ´ etatscommuniquent (une se uleclasse d' ´equivalence).On peut repr´esenter une chaˆıne de Markov `a espace d'´etats discret par un graphe orient´e.
Les ´etats sont les
sommets , les transitions de probabilit´e positive sont les a rcs , et on peut aller dei`ajenn´etapes s'il y a un chemin dei`ajde longueurn.Draft14
Exemple.
P=
1/2 1/2 01/2 1/4 1/4
0121/21/21/4
1/31/21/42/3
Ici, tous les ´etats communiquent. La chaˆıne est irr´eductible.Exemple.
P=
1/2 1/2 0 01/2 1/2 0 0
1/4 1/4 1/4 1/4
.01231/21/21/41 1/2 1/21/41/41/4
Ici, on a trois classes:{0,1},{2}, et{3}. L'´etat 2 esttransitoire et l' ´etat3 est abso rbant.
Draft15
´Etats r´ecurrents et transitoires
Pour chaque ´etati, soitfila probabilit´e que si on part dei, on va y revenir ult´erieurement.
L'´etatiest ditr ´ecurrentsi fi= 1 (on est certain d'y revenir) ettransitoire si fi<1.Voir les exemples.Sifi= 1, le processus va revenir `aiavec probabilit´e 1, puis va y revenir encore une fois avec
probabilit´e 1, et ainsi de suite. La chaˆıne va donc revenir `aiune inifinit´e de fois, et le nombre
esp´er´e de visites `aiest n´ecessairement inifini.Par contre,
si fi<1, `a chaque passage `ai, la chaˆıne va y revenir avec probabilit´efi<1, et n'y reviendra plus jamais avec probabilit´e 1-fi. Le nombre de retours `aiest donc dans ce cas une v.a. g´eom´etrique de param`etrep= 1-fi, dont l'esp´erance est (1-p)/p<∞ (ici, chaque retour correspond `a un "´echec").Donc sifi<1, le nombre de visites `a l'´etatiest ifini avec probabilit´e 1, et le nombre esp´er´e
de visites `aiest ifini.Draft16
SoitMi=P∞
n=1I[Xn=i] le nombre de retours `a l'´etati, en supposant queX0=i.On afi= 1 ssiE[Mi|X0=i] =∞. Mais
E[Mi|X0=i] =∞X
n=1E[I(Xn=i)|X0=i] =∞X n=1P[Xn=i|X0=i] =∞X n=1P(n) i,i.Proposition.Un ´etatiestr ´ecurrentsi P∞ n=1P(n)i,i=∞ettransitoire sinon. Corollaire.Le caract`ere r´ecurrent ou transitoire est une propri´et´e de classe: siiest r´ecurrent
[transitoire] eti↔j, alorsjest r´ecurrent [transitoire].Preuve
: Prenonsmetktels queP(m) j,i>0 etP(k) i,j>0, i.e.,i↔j. Siiest r´ecurrent, X n=1P(n) j,j≥∞X n=1P(m+n+k) j,j≥∞X n=1P(m) j,iP(n) i,iP(k) i,j≥P(m) j,iP(k) i,j∞ X n=1P(n) i,i=∞.Draft17
Exemple
P=
1/2 1/2 0 0 01/2 1/2 0 0 0
0 0 1/2 1/2 0
quotesdbs_dbs29.pdfusesText_35[PDF] chaine de markov exercice corrigé
[PDF] chaine énergétique barrage hydraulique
[PDF] chaine énergétique d'une éolienne
[PDF] exercice corrigé centrale hydraulique
[PDF] chaine énergétique centrale thermique
[PDF] chaine énergétique pile
[PDF] chaine énergétique exercices
[PDF] chaine énergétique éolienne
[PDF] chaine énergétique panneau solaire
[PDF] chaine energetique definition
[PDF] chaine énergétique exemple
[PDF] cours de logistique de distribution pdf
[PDF] introduction logistique
[PDF] cours management de la chaine logistique pdf