[PDF] [PDF] CHAÎNES DE MARKOV - Institut de Mathématiques de Bordeaux

[PDF] Introduction aux chaînes de Markov - Département de

7 4 Simulation des premiers états d'une chaıne de Markov homog`ene Vous trouverez d'autres exercices ainsi des documents de cours sur les On peut déduire de la proposition 24 une façon simple de calculer la loi de Xn puisque

[PDF] CHAÎNES DE MARKOV - Institut de Mathématiques de Bordeaux

Dans l'évolution au cours du temps, l'état du processus à un instant futur ne Soit Xn est une chaîne de Markov de matrice de transition P, et soit ν0 la loi de X0 On considère la marche aléatoire simple sur Z Elle possède une seule classe, 

[PDF] Chaînes de Markov (et applications)

22 fév 2021 · Dans ce cours, toutes les chaîne de Markov sont supposées homogènes, Soit Q la matrice de transition d'une chaîne de Markov homogène Donnez un exemple simple de configuration permettant un minimum local

[PDF] Chaînes de Markov - Institut Camille Jordan

1 7 2 Chaîne de Markov en temps continu et espace discret 27 de ces notes, issues d'un cours de 2ème année de Master, suppose une connaissance Un exemple particulièrement simple de marche aléatoire est celui où toutes les

[PDF] CHAÎNES DE MARKOV - Ceremade

5 4 Exercices : Introduction aux chaînes de Markov De plus, le maniement des probabilités discrètes étant plus simple que celui des probabilités continues et unige ch/math/folks/velenik/Cours/2013-2014/ProbaStat/probastat pdf , 2014

[PDF] Introduction aux chaines de Markov - CERMICS

Il est facile de calculer des espérances ou des lois conditionnelles pour une chaıne de Markov `a l'aide des puissances de sa matrice de transition Nous 

[PDF] Chaînes de Markov (et applications)

Dans ce cours, toutes les chaîne de Markov sont supposées homogènes Remarque 1 Pour cela, le plus simple est de diagonaliser la matrice Comme c 'est 

[PDF] Chaînes de Markov et Processus markoviens de sauts Applications

Une façon très simple de construire une chaîne de Markov (Xn)n≥0 est de se donner Dans ce cours, une probabilité µ sur E sera toujours définie comme un  

[PDF] Introduction aux chaînes de Markov Lycée - Gradus ad Mathematicam

Mots-clefs : chaînes ou processus de Markov, espace des états, loi initiale, lois instantanées, matrice de transition, matrice stochastique, probabilité de passage d' 

[PDF] Chaînes de Markov - DI ENS

fait, les chaınes de Markov sont des processus stochastiques dont l'évolution est régie par une simple suffit `a générer une grande variété de comportements

[PDF] chaînes de markov cours exercices et corrigés détaillés

[PDF] chaine de markov application

[PDF] changement globaux pdf

[PDF] comment reduire le rechauffement climatique

[PDF] exercices corrigés changement d état d un corps pur

[PDF] chimie organique 1ere année biologie

[PDF] exercice de chimie 1ere année biologie

[PDF] cours préparatoire mp tunisie pdf

[PDF] cours de tce 1er année biologie pdf

[PDF] tp biologie végétale pdf

[PDF] les cours de geologie pdf

[PDF] cours de biologie cellulaire 1ere année snv

[PDF] cours physique l1 snv pdf

[PDF] cours biologie cellulaire usthb

[PDF] td physique 1ere année snv

CHAÎNES DE MARKOV

Préparation à l"Agrégation Bordeaux 1

Année 2012 - 2013

Jean-Jacques Ruch-Marie-Line Chabanol

Table des Matières

Chapitre I. Chaînes de Markov5

1. Définition5

2. Exemples7

3. La relation de Chapman-Kolmogorov 9

4. Classification des états 12

5. Périodicité13

6. Etats récurrents et transients 14

7. Lois de probabilités stationnaires 18

7.A. Chaînes de Markov à espace d"états fini : lois invariantes 19

7.B. Retour au cas général : états récurrents nuls et états récurrents positifs 22

7.C. Cas général : retour aux mesures stationnaires 23

7.D. Cas général : convergence, théorème ergodique 26

3

CHAPITRE I

Chaînes de Markov

Ce chapitre est fortement inspiré des livres de Bercu (modélisation stochastique et simulation), Toulouse

(Thèmes de probabilités et statistique) et Foata-Fuchs (Processus stochastiques)

Les chaînes de Markov constituent un des exemples les plus simples de suites de variables aléatoires

(Xn). Les variables(Xn)sont à valeurs dans un ensembleEappeléespace d"état. Certaines chaînes de

Markov sont à espace d"états continu, mais nous n"aborderons pas leur étude ici. Nous nous intéresserons

uniquement aux chaînes à espace d"états fini ou dénombrable. Dans toute la suiteEsera donc un ensemble

fini ou dénombrable (Nou un sous-ensemble), que l"on munira de la tribu de toutes ses parties.

1. Définition

Soit(Xn)n0une suite de variables aléatoires à valeurs dans un ensemble au plus dénombrable E. La loi de

la suite(Xn)n0est une loi surENmuni de la tribu engendrée par les cylindres. En vertu d"un théorème

de Carathéodory, la loi de la suite(Xn)n0est caractérisée par ses lois marginales de dimension finie,

c"est-à-dire par la loi des vecteurs aléatoires(X0;:::;Xn)pour toutn2N. Or,Eest au plus dénombrable,

et donc la loi de(X0;:::;Xn)est caractérisée à son tour par la donnée deP(Xn=xn;:::;X0=x0)pour

tout(x0;:::;xn)dansE. Définition 1.Une suite(Xn)n0de variables aléatoires à valeurs dans un ensemble au plus dénombrableEest unechaîne de Markovd"espace d"étatsEsi et seulement si pour toutk2N, pour tout(x0;:::;xk+1)dansEtels queP(Xk=xk;:::;X0=x0)>0,

P(Xk+1=xk+1jXk=xk;:::;X0=x0) =P(Xk+1=xk+1jXk=xk):

Cela s"écrit également

L(Xk+1jXk=xk;:::;X0=x0) =L(Xk+1jXk=xk)

pour toutk2N. La chaîne est ditehomogènesi on a de plus pour toutk2Net toutxetydansE,

P(Xk+1=yjXk=x) =P(X1=yjX0=x):Remarque :En toute rigueur il faudrait faire attention quand les événements par lesquels on conditionne

peuvent être de probabilités nulles. De fait dans les problèmes de modélisation, les chaînes de Markov

sont données par la loi deX0et par toutes les probabilités de transition et les problèmes ne se posent

pas.

L"indicende la suite(Xn)n0est interprété comme un temps. La variableXkreprésente la position

spatiale à l"instantk, la tribu(X0;:::;Xk1)représente son passé tandis que la tribu(Xk+1;Xk+2;:::)

représente son futur. Les chaînes de Markov sont des suites aléatoires sans mémoire, en quelque sorte.

Dans l"évolution au cours du temps, l"état du processus à un instant futur ne dépend que de celui à

l"instant présent, mais non de ses états antérieurs. On dit souvent que conditionnellement au présent, passé et futur sont indépendants.

Dans toute la suite, les chaînes Markov considérées seront toutes homogènes et à espace d"états au plus

dénombrable. 5

6Chapitre I. Chaînes de Markov

Définition 2.On appelleprobabilité de transitionpour aller de l"étatxà l"étatyla probabilité

p

x;y=P(Xk+1=yjXk=x) (=P(X1=yjX0=x)):Lemme 3.On note0la loi deX0(0(x0) =P(X0=x0)). On a alors pour tous(x0;:::;xn)dansE

P(Xn=xn;:::;X0=x0) =0(x0)n1Y

k=0p xk;xk+1:Démonstration.Par conditionnements successifs : P(Xn=xn;:::;X0=x0) =P(X0=x0)P(X1=x1jX0=x0)P(X2=x2jX1=x1;X0=x0):::P(Xn= x njXn1=xn1;:::;X0=x0) =(x0)Qn1 k=0pxk;xk+1: Définition 4.On appellematrice de transitionla matriceP= (px;y)x;y2E: P=0 B @p x0;x0px0;x1px0;x2 p x1;x0px1;x1px1;x2 .........1 C A:

D"après le lemme précédent, la loi d"une chaîne de Markov est caractérisée par la loi0deX0et par

sa matrice de transitition.C"est une matrice finie ou dénombrable, suivant que l"ensemble des états est fini ou dénombrable.

Proposition 5.Toute matrice de transition vérifie les propriétés suivantes : (1)pour tout couple(x;y)deE,0px;y1; (2)pour toutx2E, on aP

y2Epx;y= 1.Démonstration.Les nombrespx;ysont des probabilités, donc le premier point est évident. Le

second point découle du fait qu"on somme les probabilités sur toutes les valeurs possibles d"une variable

aléatoire. Une matrice qui vérifie les deux points ci-dessus est appeléematrice stochastique. Proposition 6.SoitPune matrice stochastique. Alors (1)Padmet1comme valeur propre;

(2)le vecteurVayant toutes ses composantes égales à1est un vecteur propre associé à cette valeur

propre.Démonstration.Il suffit de multiplier la matricePpar le vecteurV. Lemme 7.On identifiera une probabilitésurEet le vecteur ligne dont laième coordonnée est (xi). SoitXnest une chaîne de Markov de matrice de transitionP, et soit0la loi deX0. Alors la loi de X

1est1=0P, et pour tout entiern, la loi deXnestn=0Pn.

En particulier, si la chaîne part dexi,0= (0;:::;0;1;0:::;0)etP(Xn=xj) =P(Xn=xjjX0= x i) =Pni;j.

Jean-Jacques Ruch

2.Exemples7

Démonstration.Pour le premier point, on a pour toutxideE,

P(X1=xi) =P

x j2EP(X1=xijX0=xj)P(X0=xj) =P x j2E0(xj)Pj;i= (0P)i. (en posant par conventionP(AjB)P(B) = 0siP(B) = 0). Ensuite on peut procéder par récurrence. On note(Qn)la propositionn=0Pn. On vient de prouver Q

1. Il reste à vérifier l"hérédité. Soitn >0. On supposen=0Pn. Alors pour toutxideE,

P(Xn+1=xi) =P

x j2EP(Xn+1=xijXn=xj)P(Xn=xj) =P x j2En(j)Pj;i=0Pn+1. Ainsi l"évolution de la loi deXnse ramène en fait à de l"algèbre linéaire.

A toute matrice de transition, on peut associer un graphe dirigé, éventuellement infini. Les sommets du

graphe sont les différents états de la chaîne. Il y a une flèche, étiquetéepx;y, entre le sommetxet le

sommetysi et seulement la probabilité de transition est strictement positive :px;y>0:La chaîne peut

alors s"interpréter comme une marche aléatoire sur le graphe.

On verra plus tard que les composantes fortement connexes du graphe joueront un grand rôle, notamment

les composantes fermées.

2. Exemples

Il y a des modèles classiques de chaînes de Markov homogènes, souvent rencontrés, avec lesquels il est

bon de se familiariser dès le début, en voici quelques-uns.

La chaîne à deux états.

Si on exclut le cas trivial, la matrice de transition correspondante est de la forme P=1 1

0< ; <1:

Elle permet de faire des calculs explicites : pour toutn0, on peut évaluer lanièmepuissancePn, ainsi

que la limitelimnPn(exercice), et donc déterminer explicitement la loi deXn. Le graphe associé est très simple. Il a une seule composante fortement connexe, fermée.1 1

Jean-Jacques Ruch

8Chapitre I. Chaînes de Markov

Le modèle de diffusion d"Ehrenfest

Deux urnesAetBcontiennent, à elles deux ,aboules, numérotées de1àa. A chaque instant, on

choisit une boule de façon uniforme, et on la change d"urne.Xncorrespond alors au nombre de boules

contenues dans l"urneAà l"instantn: l"ensemble des états est donc l"ensembleE=f0;1;:::;ag. Dans

ces conditions, par exemple, si à un instant l"urneAest vide (la chaîne est dans l"état 0), à l"instant

suivant l"urne contiendra 1 boule avec probabilité 1. Si à un instantAcontientiboules,0< i < a, à l"instant suivant elle contiendrai1oui+ 1boules, avec probabilité respectivement ia etdia . La matrice de transition est donc donnée par P=0 B

BBBBBB@0 1 0 00 0 0

1=a0 (a1)=a00 0 0

0 2=a0 (a2)=a0 0 0

0 0 0 0(a1)=a0 1=a

0 0 0 00 1 01

C

CCCCCCA

et le graphe par :Là encore il n"y a qu"une composante fortement connexe.

SiX0=a, le processus(Xn)n0est une description simplifiée de la diffusion d"un gaz d"un récipientA

vers un récipientBinitialement vide (chaque boule représente une molécule).

Promenade au hasard (ou marche aléatoire) surZ

On considère une chaîne de Markov homogène, d"espace d"étatsE=Z=f0;1;2;:::get de matrice de transitionP= (px;y) (x;y2Z), avec pour tout(x;y)2Z2, p x;y=8 :p;sij=i+ 1

1p;sij=i1

quotesdbs_dbs2.pdfusesText_4