[PDF] CHAÎNES DE MARKOV Master MIMSE Bordeaux Dans tout ce cours

View - Download CHAÎNES DE MARKOV Master MIMSE Bordeaux Dans tout ce cours

Previous PDF

Next PDF

CHAÎNES DE MARKOV

MICHEL BONNEFONT

Master MIMSE Bordeaux

Dans tout ce cours on se placera sur un espace d"étatsEfini ou dénombrable.

Dans ce chapitre, on va s"intéresser à l"étude de phénomènes aléatoires dépendant

du temps. Dans l"étude d"un tel processus aléatoire, ce qui nous intéresse particuliè- rement c"est de connaître la loi de ce qui va passer dans le futur en tenant compte de toutes les informations obtenues dans le passé. Dans de nombreuses situations, on peut faire l"hypothèse simplificatrice suivante :" A un instanttdonné, le futur du processus ne dépend pas de tout le passé (c"est-à-dire de toute la trajectoire jusqu"à l"instantt) mais juste de la position actuelle à l"instantt."Le processus est alors appeléprocessus de Markovet dans le cas où le temps est discret :chaîne de Markov.

Exemples :

(1) Gestion de sto ck: Da nsde nom breusess ituations,on p eutconsidérer que le stock à l"instantn+ 1:Sn+1s"écritSn+1=Sn+Rn+1oùRn+1est une variable aléatoire qui ne dépend que de la valeur du stock à l"instantn:Sn. (2) Prix d"une ac tion: Dans de nom breusessituations, on p eutconsidérer que prix d"une action à l"instantn+1:An+1peut s"écrire :An+1=An(1+rn+1) oùrn+1est une variable aléatoire qui ne dépend que de la valeur du prix de l"action à l"instantn:An.

1.Définitions et premières propriétés

Définition 1.1.Soit(

;F;P)un espace probabilisé et(Xn)n2Nune suite variables aléatoires définie sur( ;F;P)à valeurs dansE. On dit que(Xn)n2Nest unechaîne de Markovsi, pour tout(n+ 1)-uplet(x0;x1;:::;xn)de points deEtel que P(\

0jn1fXj=xjg)>0on a

(1.1) P(Xn=xnjXn1=xn1;Xn2=xn2;:::;X0=x0) =P(Xn=xnjXn1=xn1): La matriceQn= (Qn(x;y))x;y2Edéfine parQn(x;y) =P(Xn=yjXn1=x)est appeléematrice de transitionde la chaîne de Markov (au tempsn). Q n(x;y)désigne donc la probabilité de passer de l"étatx2Eà l"étaty2Eau tempsn. On dit que la chaîne de Markov esthomogènesi la matrice de transition ne dépend pas den. On note alorsQla matrice de transition. Dans toute la suite, nous ne considérerons que des chaînes de Markov homogènes. La loi deX0est appeléeloi initialede la chaîne de Markov. 1

2 MICHEL BONNEFONT

La propriété (??) s"appelle la propriété de Markov. Elle équivaut à dire que la loi

deXnconditionnellement à(X0;X1;:::;Xn1)est en fait la loi deXncondition- nellement àXn1. La propriété de Markov signifie bien que le futur (immédiat) ne dépend du passé (toute la trajectoire) qu"à travers le présent (le point actuel).

Exercice 1.2.

Un premier exemple : Marc healéatoire sur Z.Soit(Zn)n2Nune suite de v.a. indépendantes et identiquement distribuées (i.i.d.) de loi de Rademacher

R(p),0p1; c"est-à-dire,

P(Zn= +1) =petP(Zn=1) = 1p:

On définit alorsXn=Z1+:::+Zn,n0etX0= 0. Montrer que(Xn)est bien unechaîne de Markov homogène. Sip= 1=2on parle demarche aléatoire symétrique. Bien sûr, on peut faire la même chose en dimensiond. La marche aléatoire symé- trique est alors obtenue en prenant P(Zi=e1) =P(Zi=e1) =:::=P(Zi=ed) =P(Zi=ed) =12d;i1; où(e1;e2;:::;ed)est la base usuelle deZd.

2.Matrices stochastiques

Définition 2.1.Une matriceP= (Pi;j)i;j2Eest unematrice stochastiquesi elle vérifie : (1)8i;j2E;Pi;j0 (2)8i2E;X j2EP i;j= 1

Exemple 2.2.

(1)0 @1=2 1=2 0

1=3 0 2=3

0 1 01

A est une matrice stochastique. (2) La matrice P= (Pi;j)i;j2Ndonnée pour touti2N?par( P i;i+1=Pi;i1= 1=4 P i;i= 1=2 etP0;0=P0;1= 1=2est stochastique. Proposition 2.3.SiQest une matrice de transition d"une chaîne de Markov, alors

Qest une matrice stochastique.

Preuve.Exercice.Proposition 2.4.SoientPetQdeux matrices stochastiques de même taille alors le produitPQest aussi une matrice stochastique. Démonstration.SoientPetQdeux matrices stochastiques alors

CHAÎNES DE MARKOV 3

-PQest bien définie, en effet la série à termes positifs(PQ)i;j=X l2EP i;lQl;j converge :PetQsont stochastiques donc, pour toutl2E,Ql;j1etX l2EP i;l= 1, doncX l2EP i;lQl;jX l2EP i;l= 1.

Mon tronsque PQest stochastique :X

j2E(PQ)i;j=X j2EX l2EP i;lQl;j=X l2EX j2EP i;lQl;jpar Fubini-Tonelli, X l2EP i;lX j2EQ l;j=X l2EP i;l= 1: Corollaire 2.5.SoitQune matrice stochastique, alors pour toutn2N,Qnest aussi une matrice stochastique. (Pourn= 0, par convention, on poseQ0:=Id). Démonstration.Récurrence immédiate (à faire soi-même). Interprétation et représentation :Il est facile d"associer à une matrice stochas- tique un graphe orienté, pondéré. L"ensemble des sommets du graphe sera l"espace

d"étatsEet les arêtes orientées (pondérées) représenteront les valeurs non nulles de

la matrice stochastique. Dans le cas d"une matrice de transitionQd"une chaîne de Markov homogène, la pondération sur l"arête orientée(x;y)correspond à la probabilité de la chaîne de passer de l"étatxà l"étaty. Exercice 2.6.Faire les graphes associés aux deux exemples de l"Exemple??.

3.Loi au tempsnde la chaîne de Markov

Pour le résultat suivant , on considère (exceptionnellement) que la chaîne de Mar- kov n"est pas nécessairement homogène. Proposition 3.1.Soit(Xn)n2Nune chaîne de Markov définie sur( ;F;P)à valeurs dansE. Pour toutn2N, pour tousx;y2E, on définitQn(x;y) =P(Xn= xjXn1=xn1). Alors on a :

8n2N;8x0;x1;:::;xn2E;

P(X0=x0;X1=x1;:::;Xn=xn) =P(X0=x0)Q1(x0;x1):::Qn(xn1;xn): Démonstration.Montrons ce résultat par récurrence surn.

C"est trivial p ourn=0.

Supp osonsle résultat vrai p ourn0alors

P(Xn+1=xn+1;:::;X0=x0)

=P(Xn=xn;:::;X0=x0)P(Xn+1=xn+1jXn=xn); =P(Xn=xn;:::;X0=x0)Qn+1(xn;xn+1);

4 MICHEL BONNEFONT

On a bien démontré le résultat souhaité.

Remarque3.2.La réciproque est vraie : s"il existe une suite de matrices((Qn(x;y))x;y2E)n2Ntelle que

8n2N;8x0;x1;:::;xn2E;

P(X0=x0;X1=x1;:::;Xn=xn) =P(X0=x0)Q1(x0;x1):::Qn(xn1;xn) alors(Xn)n2Nest une chaîne de Markov.

Exercice 3.3.Le prouver.

Corollaire 3.4.Sous les mêmes hypothèses :(Xn)n0une chaîne de Markov non nécessairement homogène et de loi initialeL(X0) :=. La loi deXnau tempsnest donnée par la formule : pourx2E (3.1)P(Xn=x) =X z

0;z1;:::;zn12E(z0)Q1(z0;z1):::Qn(zn1;x):

Ici, nous revenons au cas d"une chaîne de Markovhomogène. Dans ce cas, nous obtenons le corollaire important suivant Corollaire 3.5.Soit(Xn)n0une chaîne de Markov homogène de matrice de tran- sitionQet de loi initialeL(X0) :=. On noteQnla puissancen-ième de la matrice

Q, alors :

(1) L aloi de Xnau tempsnest donnée par la formule :

P(Xn=x) =X

z

0;z1;:::;zn12E(z0)Q(z0;z1):::Q(zn1;x)

X y2E(y)Qn(y;x) (2) Pour x;y2E, le termeQn(x;y)correspond à la probabilité de passer de l"étatxà l"étatyen exactementnétapes. Remarque3.6.Il est bien pratique d"écrire lesmesurescomme desvecteurs lignes et lesfonctionscomme desvecteurs colonnes. Avec cette convention, la loi de la chaine de Markov au tempsnde loi initiale s"écrit simplement :

L(Xn) =Pn

c"est-à-dire

P(Xn=x) = (Pn)(x):

Avec cette convention, pour calculer l"espéranceE[f(Z)]oùZest de loisurE etfest une fonction (bornée) surE, on a

E[f(Z)] =X

z2E(z)f(z) =f:

CHAÎNES DE MARKOV 5

En particulier, l"espéranceE[f(Xn)]se calcule comme

E[f(Xn)] =X

z2E(Pn)(z)f(z) =Pnf: Démonstration.La probabilité de passer dexàyen 2 étapes est égale à

P(X2=yjX0=x) =X

z2EP(X1=z;X2=yjX0=x) X z2EQ(x;z)Q(z;y): Ce dernier terme n"est rien d"autre que le terme(x;y)de la matriceQ2. Plus généralement, pourn2, la probabilité de passer dexàyennétapes est

égale à

P(Xn=yjX0=x) =X

z X z

1;:::;zn12EQ(x;z1)Q(z1;z2):::Q(zn1;y):

Ce dernier terme n"est rien d"autre que le terme(x;y)de la matriceQn. Pour obtenir la loi deXn, il nous suffit de déterminerP(Xn=x)pour toutx2E. On a

P(Xn=x) =X

z

02EP(X0=z0;Xn=x)

X z

02EP(X0=z0)P(Xn=xjX0=z0)

X z

02E(z0)Qn(z0;x):

Remarque3.7.Dans le cas d"une chaîne de Markov non nécessairement homogène de loi initiale, la loi deXns"écrit

L(Xn) =Q1Q2:::Qn:

Exercice 3.8.CalculerP2pour les deux matrices de l"exemple??. Tracer les graphes dePetP2dans chacun des cas. Exercice 3.9.On notea,betcles états de la chaîne 1 de l"exemple??etfla fonction définie parf(a) = 1;f(b) = 2;f(c) = 3. On note0la mesure de probabilité uniforme surfa;b;cg. Calculer la loi de la chaîne au temps 1 et au temps 2. Calculer

également :E[f(X1)]etE[f(X2)].

Même question pour la marche aléatoire symétrique surZde loi initiale0et pour la fonctionfdéfinie parf(x) =x2;x2Z.

6 MICHEL BONNEFONT

Corollaire 3.10.En reprenant les hypothèses de la proposition??(chaîne non né- cessairement homogène), on a également, pourn2N;0kn;xk;xk+1;:::;xn2 E, P(Xn=xn;:::;Xk=xk) =P(Xk=xk)Qk(xk;xk+1):::Qn(xn1;xn):

Démonstration.

P(Xn=xn;:::;Xk=xk)

=X x X x X x =P(Xk=xk)Qk+1(xk;xk+1):::Qn(xn1;xn):

4.Une caractérisation des chaînes de Markov

Proposition 4.1.SoitEetFdeux ensembles dénombrables, et pour toutn1, soitfnune application deEFdansE. SoitX0et(Yn)n1des v.a. mutuellement indépendantes,X0à valeurs dansE,Ynà valeurs dansFpour toutn1. Soit enfin(Xn)n1à valeurs dansEdéfinies parXn+1=fn(Xn;Yn+1);8n2N. Alors (Xn)n2Nest une chaîne de Markov.

Démonstration.On remarque que

P(Xn+1=xn+1;:::;X0=x0) =P(fn(xn;Yn+1) =xn+1;Xn=xn;:::;X0=x0); =X z;f n(xn;z)=xn+1P(Yn+1=z;Xn=xn;:::;X0=x0); X z;f n(xn;z)=xn+1P(Yn+1=z)P(Xn=xn;:::;X0=x0):

Donc on a

P(Xn+1=xn+1jXn=xn;:::;X0=x0) =X

z;f n(xn;z)=xn+1P(Yn+1=z): De la même façon on peut facilement montrer que

P(Xn+1=xn+1jXn=xn) =X

z;f n(xn;z)=xn+1P(Yn+1=z) ce qui montre bien que(Xn)n2Nest une chaîne de Markov. Remarque4.2.Si de plus,fn=fet les(Yn)n2Nsont dentiquement distribués et que X n+1=f(Xn;Yn+1), alors(Xn)n2Nest une chaîne de Markov homogène.

CHAÎNES DE MARKOV 7

Remarque4.3.La réciproque est vraie. Si(Xn)est une chaîne de Markov surE, alors on peut représenterXn+1=fn(Xn;Yn+1)pour une certaine fonctionf: (N;E;F)! Eet des variables aléatoires indépendantesYnet indépendante deX0.

5.Propriétés de Markov faible et forte

5.1.Propriété de Markov faible.

Notation 5.1.Dans toute la suite on noteraFnla tribu engendrée par les v.a. X

0;:::;Xn, autrement ditFn=(X0;:::;Xn).

On notera égalementPxla probabilité conditionnelle sachantfX0=xg,x2E. Théorème 5.2.Propriété de Markov faible Soit(Xn)n2Nune chaîne de Markov. Alors pour tousn2N,x2Eet conditionnel- lement àfXn=xg,(Xn+p)p2Nest une chaîne de Markov de loi initialex. Deplus elle est indépendante deFn; c"est-à-dire, pour toutA2 Fn, pour tousm >0, x

0;x1;:::;xm2E

P(A\ fXn+1=x1;:::;Xn+m=xmgjXn=x)

=P(Xn+1=x1;:::;Xn+m=xmjXn=x)P(AjXn=x) =Px(X1=x1;:::;Xm=xm)P(AjXn=x): Avant de faire la démonstration, nous allons établir 2 lemmes.

Lemme 5.3.Soit(

;F;P)un espace probabilisé et soientA;B;C2 Ftels que

P(B\C)>0:Alors

P(AjBjC) =P(AjB\C):

Démonstration.SoitQ() :=P(jC).Qest une probabilité. Par définition de la probabilité conditionnelle, on a

P(AjBjC) =Q(AjB) =Q(A\B)Q(B)=P(A\BjC)P(BjC)

P(A\B\C)P(B\C)=P(AjB\C):

Lemme 5.4.Soit(Xn)n0une chaîne de Markov. Soit0etx0;xn;xn+12Etels queP(fXn=xng \ fX0=x0g)>0. Alors

P(Xn+1=xn+1jXn=xn;X0=x0) =P(Xn+1=xn+1jXn=xn):

Démonstration.En sommant sur toutes les trajectoires possibles et en utilisant la définition d"une chaîne de Markov, on trouve :

8 MICHEL BONNEFONT

P(Xn+1=xn+1;Xn=xn;X0=x0)

=X z X z

P(Xn=xn;Xn1=zn1;:::;X1=z1;X0=x0)

=P(Xn+1=xn+1jXn=xn)X z =P(Xn+1=xn+1jXn=xn)P(Xn=xn;X0=x0)

D"où :

P(Xn+1=xn+1jXn=xn;X0=x0) =P(Xn+1=xn+1jXn=xn):

Revenons à la démonstration de la propriété de Markov faible. Démonstration.Montrons d"abord que(Xn+p)p2Nest une chaîne de Markov. Soit, m1etx1;:::;xm2E, on a en utilisant le lemme ci-dessus : P x(Xm+n=xmjXn+m1=xm1;:::;Xn+1=x1) =P(Xm+n=xmjXn+m1=xm1;:::;Xn+1=x1;Xn=x) =P(Xm+n=xmjXn+m1=xm1) =P(Xm+n=xmjXn+m1=xm1;Xn=x) =Px(Xm+n=xmjXn+m1=xm1): Montrons maintenant l"indépendance conditionnelle. Il suffit de la montrer pour A=fX0=y0;:::;Xn=yng. En effet par-additivité deP, on peut l"obtenir pour toutA2 Fn. Il suffit de plus de regarder le casyn=x(sinon les deux membres sont nuls). On a

P(A\ fXn+1=x1;:::;Xn+m=xmgjXn=x)

P(A)P(Xn=x)P(Xn+1=x1;:::;Xn+m=xmjXn=x)

=P(AjXn=x)P(Xn+1=x1;:::;Xn+m=xmjXn=x):

CHAÎNES DE MARKOV 9

5.2.Propriété de Markov forte.

Définitions 5.5.

Une filtrationest une suite croissante de tribus, c"est à dire une suite de tribus (Gn)n2NvérifiantG0 G1::: Gn::: -((X0;:::;Xn))n2N= (Fn)n2Nest appeléefiltration engendréepar(Xn)n2N. Définition 5.6.Soit(Xn)n2Nune suite de v.a. définies sur( ;F;P). Soitune v.a. définies sur le même espace probabilisé. On dit queest untemps d"arrêtadapté à la suite(Xn)n2N(ou temps d"arrêt adapté à la filtration(Fn)n2N) si : a)prend ses valeurs dansNSf1g, b)8n0, on afng 2 Fn. Remarque5.7.On peut remplacer la condition b) par la condition b")8n0, on af=ng 2 Fn.

Exercice 5.8.Le prouver!

Exercice 5.9.Soit(Xn)n2Nune suite de v.a. à valeurs dansE. Montrer que les v.a. suivantes sont des temps d"arrêt adaptés à la suiteXn: les v.a. constan tesp. s., le temps d"en tréedans l"ensem bleA, notéTA, donné parTA= inffn2N;Xn2 Ag, le temps de retour en A, notéSA, donné parSA= inffn2N?;Xn2Ag, -T^S,T_SetT+SoùTetSsont des temps d"arrêt. Proposition-Définition 5.10.Soitun temps d"arrêt adapté à la filtration(Fn)n. On poseF1=(Fn;n0). On définitF F1parF=fA2 F1;8n

0;ATf=ng 2 Fng.Fest une tribu appeléetribu des événements antérieurs

Démonstration.

-8n0,

Tf=ng=f=ng 2 Fndonc

2 F.

Soit (Ak)k2N2 F, montrons queS

k2NAk2 F. On a [ k2NA k! \ fng=[ k2N(Ak\ fng)2 Fn: Donc S k2NAk2 F. Soit A2 F, montrons queA2 F. SoitB=A\ fng, on aA\ fng= (A[fng)\ fng = (A\ fng)\ fng 2 Fn; carA\ fngetfngsont dansFn. DoncA2 F. Exercice 5.11.On reprend l"exemple de la marche aléatoire surZ. On pose:= inffn;Xn=10g. On noteB:=f9n2N;n;Xn= 10g. Montrer queB appartient àF.

10 MICHEL BONNEFONT

Exercice 5.12.Soitun temps d"arrêt. On note()la tribu engendrée par. Montrer que l"on a l"inclusion :(T) F. A-t-on égalité? Théorème 5.13.Propriété de Markov forte Soit(Xn)n2Nune chaîne de Markovhomogènede paramètres(;P)etun temps d"arrêt adapté à(Xn)n2N. Pour toutx2Eet conditionnellement àf <1;X= xg, la suite(X+n)n2Nest une chaîne de Markov de paramètres(x;P). De plus elle est indépendante deF; c"est-à-dire, pour toutA2 F,x1;:::;xm2E

P(fX+n=xn;:::;X=x0g \Ajf <+1g \X=x0)

=Px0(fXn=xn;:::;X1=xg)P(Ajf <+1g \X=x0): Remarque5.14.En prenant=kon retrouve la propriété de Markov faible.

Remarque5.15.En particulier, on a aussi que

P(fX+n=xn;:::;X=x0gjf <+1g \X=x0)

=Px0(fXn=xn;:::;X1=xg): Démonstration.SoitA2 F, en écrivantA\ f <1gcomme l"union disjointe

A\ f <1g=S

m0A\ f=mgon a

P(fX+n=xn;:::;X=x0g \A\ f <+1g)

=X m0P(fX+n=xn;:::;X=x0g \A\ f=mg \ fX=x0g) X m0P(fXm+n=xn;:::;Xm=x0g \A\ f=mg \ fXm=xg) X m0P(fXm+n=xn;:::;Xm=x0gjXm=x)P(A\ f=mgjfXm=xg)P(fXm=x0g) =Px0(fXn=xn;:::;X1=xg)X m0P(A\ f=mg \ fXm=x0g) =Px0(fXn=xn;:::;X1=xg)P(A\ f <+1g \ fX=x0g);

où on a utilisé la propriété de Markov faible à la troisième égalité en remarquant

queA\f=mg 2 Fm. Donc, pourA2 F, en divisant parP(f <+1g \X=x0), on obtient

P(fX+n=xn;:::;X=x0g \Ajf <+1g \ fX=x0g)

=Px0(fXn=xn;:::;X1=xg)P(Ajf <+1g \X=x0):

En particulier, on remarque que

P(fX+n=xn;:::;X=x0gjf <+1g \X=x0)

=Px0(fXn=xn;:::;X1=xg):

CHAÎNES DE MARKOV 11

et donc en particulier, on remarque que P f<+1\X=x0g(X+n+1=xn+1jX+n=xn:::;X=x0) =Px0(Xn+1=xn+1jXn=xn:::;X0=x0:::;X1=x) =Px0(Xn+1=xn+1jXn=xn) =Pf<+1\X=x0g(X+n+1=xn+1jX+n=xn): Cette dernière égalité traduit exactement la propriété de Markov de la suite(X+n)n2N conditionnellement à l"évènementf <1;X=xg. Exemple d"application :Soit(Xn)n0une marche aléatoire surZpartant de

0. Soitle temps d"atteinte de 10 :

:= inffk0;Xk= 10g: Alors conditionnellement àf <+1g,(X+n)n0est aussi une marche aléatoire partant de 10. De plus elle est indépendante deF, c"est-à-dire elle est indépendante des trajectoires avant.quotesdbs_dbs10.pdfusesText_16

[PDF] chaine de markov irreductible exemple

[PDF] chaine de markov exercice corrigé

[PDF] chaine énergétique barrage hydraulique

[PDF] chaine énergétique d'une éolienne

[PDF] exercice corrigé centrale hydraulique

[PDF] chaine énergétique centrale thermique

[PDF] chaine énergétique pile

[PDF] chaine énergétique exercices

[PDF] chaine énergétique éolienne

[PDF] chaine énergétique panneau solaire

[PDF] chaine energetique definition

[PDF] chaine énergétique exemple

[PDF] cours de logistique de distribution pdf

[PDF] introduction logistique

[PDF] cours management de la chaine logistique pdf