[PDF] Chaînes de Markov PDF Processus de branchement : de nombreux

CHAÎNES DE MARKOV

Evidemment si X0 suit la loi stationnaire ?

Chaînes de Markov (et applications)

22 févr. 2021 Soit Q la matrice de transition d'une chaîne de Markov homogène. Etant donné un état ... a) Donner un exemple de graphe non-apériodique.

Xn = x) ne dépend pas de n

la matrice P obtenue est stochastique. A. Popier (ENSAI).

Cours de Tronc Commun Scientifique Recherche Opérationnelle

On pourra aussi dire (grâce au théor`eme ergodique cf poly) : en moyenne

Chaînes de Markov

n Pn i=1 ?Xi . Exemple. Pour la marche aléatoire sur Z/NZ on a vu déjà que la loi marginale ?n convergeait vers ?1.

Chapitre 8 Chaˆ?nes de Markov

En effet si on fait la somme des équations de ?T P = ?T on obtient ?T P1 = ?T 1

Classification des états de la Chaîne de Markov Classification des

communiquent entre eux càd il y a une seule classe d'équivalence. 17. Classification des états de la Chaîne de. Markov. ? Exemple:.

Chaînes de Markov et Processus markoviens de sauts. Applications

Cela signifie qu'en observant la chaîne jusqu'à l'instant n on peut décider si {T = n} a lieu ou non. Exemple 4 On définit la variable Sx par: Sx = inf{n ? N

Chaînes de Markov

chaînes de Markov irréductibles et apériodiques. Exercice 70 Reprendre tous les exemples de noyaux de transition vus précédemment et étudier leur période.

Chaines de Markov et protocole de gestion des communications

Si on se ramène à un exemple concret cela donne : Soit un panier de 3 boules rouges et 4 boules vertes. Nommons A l'événement « je pioche une boule rouge » et B

[PDF] CHAÎNES DE MARKOV - Institut de Mathématiques de Bordeaux

Les chaînes de Markov constituent un des exemples les plus simples de Une chaîne apériodique est une chaîne de dont tous les états sont apériodiques

[PDF] Chaînes de Markov (et applications)

22 fév 2021 · Exemples et définitions Idée : Une chaîne de Markov est une suite de variables aléatoires dans le temps ou conditionnel-

[PDF] Chaînes de Markov

Exemple On représente usuellement une chaîne de Markov d'espace d'états X par Si la chaîne de Markov est apériodique alors pour toute mesure initiale

[PDF] Chapitre 8 Chaˆ?nes de Markov - DI ENS

C'est pour cela que les cha?nes de Markov trouvent des applications dans beaucoup de domaines comme par exemple la biologie la physique la sociologie

[PDF] CHAÎNES DE MARKOV - ceremade

5 3 4 Graphe associé à une chaîne de Markov homogène Le but de la théorie des probabilités est de fournir un modèle mathématique pour décrire les

[PDF] Chaînes de Markov - Institut Camille Jordan

chaînes de Markov irréductibles et apériodiques Exercice 70 Reprendre tous les exemples de noyaux de transition vus précédemment et étudier leur période

[PDF] Chaînes de Markov

Processus de branchement : de nombreux exemples de chaînes de Markov in- réductible apériodique pour laquelle il existe une probabilité invariante ?

[PDF] Introduction aux chaines de Markov - CERMICS

En considérant un espace d'état `a deux éléments donner un contre-exemple pour la réciproque ? On consid`ere (Xnn ? N) une cha?ne de Markov de matrice de

[PDF] chaines-Markovpdf - Université de Montréal

Si Xn n'atteint jamais A on a N = ? On peut vouloir calculer par exemple ? = P[N ? m X0 = i] Dans

[PDF] Chaˆ?nes de Markov

2 jan 2019 · 1 1 Exemples de chaˆ?nes de Markov Les cha?nes de Markov sont intuitivement tr`es simples `a définir Un syst`eme peut admettre

Université des Sciences et Technologies de Lille U.F.R. de Mathématiques Pures et AppliquéesChaînes de Markov

Daniel Flipo

Agrégation de Mathématiques

Sommaire

1Définitions et exemples1

2Généralisations de la propriété de Markov4

2.1Cylindres sur EN. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2.2Opérateurs de décalage sur EN. . . . . . . . . . . . . . . . . . . . . .7

2.3Propriété de Markov forte. . . . . . . . . . . . . . . . . . . . . . . . . 8

3Classification des états9

3.1Classes d"états communicants. . . . . . . . . . . . . . . . . . . . . . 9

3.2Récurrence et transience. . . . . . . . . . . . . . . . . . . . . . . . . . 10

4Théorèmes limites14

4.1Casjtransient. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

4.2Cas des chaînes irréductibles récurrentes. . . . . . . . . . . . . . . . 15

4.2.1Mesures invariantes. . . . . . . . . . . . . . . . . . . . . . . . 15

4.2.2Période d"un état. . . . . . . . . . . . . . . . . . . . . . . . . . 21

4.2.3Convergence en loi. . . . . . . . . . . . . . . . . . . . . . . . . 23

4.2.4Théorème ergodique. . . . . . . . . . . . . . . . . . . . . . . . 25

5Propriétés algébriques des chaînes de Markov

à espace d"états fini28

Exercices36

Bibliographie46

1Définitions et exemples

Définition1.1Soit(Xn)n2Nune suite de variables aléatoires de(,A,P)dans un espaceEfini ou dénombrable appelé espace des états.

1)O ndit qu e(Xn)n2Nest une chaîne de Markov si et seulement si

lesquels la probabilité conditionnelle a un sens, c.-à-d. tels que

2)S ien p lusla pr obabilitéP(XnÅ1AEjjXnAEi)ne dépend pas den, c.-à-d. si

8n2N,P(XnÅ1AEjjXnAEi)AEP(X1AEjjX0AEi)

on dit que la chaîne de Markov est homogène. nestconnueàl"instantn,la loi des variables futures (X nÅ1, XnÅ2etc.) ne dépend pas du passé (les valeurs de X n¡1, Xn¡2etc.). Vérifier à titre d"exercice que, si (Xn) est une chaîne de Markov homogène,

AEP(X2AEk,X1AEjjX0AEi). (1)

Exemples: vérifier dans chacun des exemples suivants que Xnest une chaîne de Markov homogène et préciser sa matrice de transition. dantes et de même loi à valeurs dansZ(ouZd), soit X0une variable aléatoire à valeurs dansZ(ouZd), indépendante des (Yn), on pose XnAEX0ÅPn iAE1Yipour tout entiern¸1.

2)Ruine du joueur: deux joueurs A et B disposant respectivement de fortunes

initialesaetb(entiers positifs) jouent à un jeu de hasard. La mise est de 1" par partie; les résultats des parties sont indépendants, à chaque partie A a la probabilitépde gagner,qde perdre etr¸0 de faire match nul (0ÇpÇ1,

0ÇpÇ1 etpÅqÅrAE1). Le jeu se poursuit indéfiniment ou jusqu"à la ruine

d"un des deux joueurs. On note X nla fortune du joueur A aprèsnparties. 1

3)Séries de succès: des candidats doivent répondre à une suite de questions de

diYculté variable, les performances des diVérents candidats sont indépen- dantes. La probabilité pour chaque candidat de bien répondre à une question de niveaukestpk, celle de donner une réponse fausse estqkAE1¡pk. Lors- qu"un candidat donne une réponse fausse, il est remplacé par le candidat sui- vant qui démarre au niveau 0. X nreprésente le niveau atteint par le candidat en lice à l"instantn:

4)Modèle de diVusion gazeuse: On considère une enceinte faite de deux com-

partiments séparés par une cloison poreuse. Au départ le compartiment de gauche contientamolécules de gaz de type A, celui de droitebmolécules de gaz de type B. On modélise la diVusion au travers de la paroi en suppo- sant qu"à chaque instant, il y a tirage au hasard d"une molécule dans chaque urnes après len-ième échange est complètement déterminée par la donnée de la variable X nnombre de molécules de gaz A dans l"urne de gauche. à un guichet. Un seul client est servi à la fois. On note X nle nombre de clients en attente ou en cours de service juste avant l"instant T net Dnle nombre de clients dont le service se termine dans l"intervalle [T n,TnÅ1[. On suppose les variables D nindépendantes et de même loi donnée : pour toutk2NpkAE P(D

0AEk). On a, siaÅAEmax(a,0) désigne la partie positive du réela,

8n2N, XnÅ1AE(XnÅ1¡Dn)Å

6)Gestion de stock: on s"intéresse au nombre de pièces d"un même type en

stock dans un entrepôt, à diVérents instants (tn)n2N, par exemple à chaque fin de journée ou de semaine. La demande pour ce type de pièces dans l"inter- valle [tn,tnÅ1[ est une variable aléatoire entière Dn. La suite des v.a. (Dn)n2N est supposée indépendante et de même loi connue. La politique de gestion est la suivante : lorsque le niveau du stock à un des instants (tn) descend en dessous d"un seuilsfixé on se réapprovisionne de façon à ramener le stock à son niveau maximal S déterminé par exemple par la taille de l"entrepôt ou les moyens financiers de l"entreprise. On admet que la livraison intervient sans délai, c"est-à-dire avant le début de la période suivante. La taille X ndu stock à l"instanttnvérifie

8n2N,(X

nÅ1AE(Xn¡Dn)Åsis·Xn·S X nÅ1AE(S¡Dn)Åsi XnÇs 2

7)Processus de branchement: de nombreux exemples de chaînes de Markov in-

terviennent en génétique (modèles de reproduction) et en physique (désin- tégrations atomiques). On suppose qu"à la fin de son existence chaque orga- nismeide lan-ième génération donne naissance à un nombre aléatoire Yi,n de descendants. Les variables aléatoires (Y i,n)(i,n)2N2sont supposées indépen- dantes et de même loi. Le nombre X nd"organismes de lan-ième génération vérifie

8n2N, XnÅ1AEX

nX iAE1Y i,n Remarque: si (Yn)n2Nest une suite de variables aléatoires indépendantes et de même loi à valeurs dans E et sif:E£E7!E est une fonction quelconque, alors la suite (X n)n2Ndéfinie par

8n2N, XnÅ1AEf(Xn,Yn) et X0donnée, indépendante des (Yn)n2N,

est une chaîne de Markov homogène. Ce résultat (à démontrer en exercice) four- nit un moyen assez général pour établir qu"une suite de variables aléatoires est une chaîne de Markov homogène. Définition1.2On appelle matrice de transition de la chaîne de Markov homo- gène(Xn)la matricePdéfinie par1:8(i,j)2E£E P(i,j)AEP(X1AEjjX0AEi). Proposition1.3La loi d"une chaîne de Markov homogène est complètement dé- terminée par la donnée de sa matrice de transition et de la loi deX0(appelée loi initiale)

2:8i2E,¹(i)AEP(X0AEi). Pour tout entiernet tousi0,i1,...,inétats

deE: Démonstration.Immédiate à partir de la formule P(n\iAE0Ai)AEP(A0)P(A1jA0)P(A2jA1\A0) ...P(AnjAn¡1\...\A0). (2)

et de la propriété de Markov homogène.Proposition1.4(Chapman-Kolmogorov)Pour tout couple(i,j)d"états deEet

pour tout couple(n,m)d"entiers naturels

P(XnÅmAEjjX0AEi)AEX

k2EP(XnAEkjX0AEi)P(XmAEjjX0AEk) (3)1. Si E n"est pas fini, la matrice a un nombre infini de lignes et de colonnes...

2. Le plus souvent X0est connue de manière déterministe, dans ce cas la loi initiale est une

mesure de Dirac. 3 En particulier la matrice des transitions ennétapes est la puissancen-ième de la matricePdes transitions en une étape3:

8n2N,8(i,j)2E£E,P(XnAEjjX0AEi)AEPn(i,j) (4)

Démonstration.CalculonsP(XnÅmAEjjX0AEi) en décomposant l"événement {X nÅmAEj} sur les événements ({XnAEk})k2Equi forment une partition de:

P(XnÅmAEjjX0AEi)AEP(XnÅmAEj\³

[k2EXnAEk´ jX0AEi) AE X k2EP(XnÅmAEj\XnAEkjX0AEi) AE X k2EP(XnÅmAEj,XnAEk,X0AEi)P(X0AEi) AE X AEX k2EP(XmAEjjX0AEk)P(XnAEkjX0AEi) car X nest une chaîne de Markov homogène. En particulier, pournAEmAE1 et pour tous (i,j)2E£E,

P(X2AEjjX0AEi)AEX

k2EP(X1AEjjX0AEk)P(X1AEkjX0AEi)AEX k2EP(i,k)P(k,j) ce qui établit (4) dans le casnAE2. PourmAE1 etnÈ1, l"égalité (3) s"écrit

8(i,j)2E£EP(XnÅ1AEjjX0AEi)AEX

k2EP(XnAEkjX0AEi)P(X1AEjjX0AEk) AE X k2EP(XnAEkjX0AEi)P(k,j) donc siP(XnAEkjX0AEi)AEPn(i,k) alorsP(XnÅ1AEjjX0AEi)AEPnÅ1(i,j) et la récurrence est établie.2Généralisations de la propriété de Markov Dans la section précédente nous avons travaillé sur les suites finies de variables aléatoires (X k)k·m, il est intéressant de considérer la chaîne " globalement » en

tant que variable aléatoire de (,A) dans ENmuni d"une tribuFadéquate. Si3. Dans toute la suite la notation Pn(i,j) désigne le terme de la lignei, colonnejde la ma-

trice P n, à ne pas confondre avec¡P(i,j)¢n! 4 on veut que XAE(Xn)n2Nsoit mesurable de (,A) dans (EN,F) dès que toutes ses composantes X nle sont de (,A) dans (E,P(E)), il ne faut pas choisirFtrop grande (en particulier le choixFAEP(EN) ne convient pas). On construitFà partir des "cylindres» de E

Ndéfinis ci-dessous.

2.1Cylindres surEN

Définition2.1On appelle cylindre deENtoute partieCdeENde la formeCAE B

0£B1£¢¢¢£Bn£E£E£E..., oùnest un entier quelconque et où lesBisont des

parties quelconques 4deE. On appelle tribu cylindrique surENla plus petite tribuFcontenant les cylindres deEN. Proposition2.2Les cylindres deENont les propriétés suivantes : a) l "intersectionde deu xc ylindrese stun cyli ndre; b) la réu nionde deu xc ylindresn"est pas toujoursun cylindre; c) le complémen taired "uncyli ndreest u neré unionfi niede cyl indres; d) l "algèbred eB ooleeng endréesur ENpar les cylindres est la familleBdont les éléments sont les réunions finies de cylindres.

Démonstration.a)S in¸m, on a

(B b)

C onsidérerla ré uniondes cyl indresB

0£E£E£... et E£B01£E£... (faire un

dessin dansR3pour B0et B01singletons deN). c) S oitC AEB0£B1£¢¢¢£Bn£E£E..., x2C() 8i·n,xi2Bidonc x2C() 9i·n,xi2B i£E£...}. d) M ontronsquelafamilleBestunealgèbredeBoole:ilestimmédiatdevérifierquotesdbs_dbs5.pdfusesText_9

[PDF] [PDF] Chaînes de Markov Processus de branchement : de nombreux