[PDF] Chaînes de Markov - Université Paris-Saclay

Processus markoviens de sauts - lpsmparis

Définition 1 2 (Chaîne de Markov homogène) La chaîne de Markov (X t) t≥0 est homogène si les probabilités de transition p(t,t′) ne dépendent que de (t′ −t) On note alors : p ij(t) = p ij(0,t) = P (X t = jX0 = i) Convention : dans toute la suite, on ne considérera que des processus homogènes On a bien sûr pour tout entier

Processus markoviens - Laboratoire de mathématiques

Dans ce cas, mest la loi de X 0 et pour tout n> 1, p n(x,·) ne dépend pas de xdans Eet est la loi de X n La CNS pour qu'une chaîne de Markov (X n) n>0 soit une suite indépendante pour toute loi de départ est que p n(·,y) soit constante, pour tout ydans E 1 3 2 Sommes de arivables aléatoires indépendantes On pose X n:= X 0 + Y 1

Chaînes de Markov - Université Paris-Saclay

Chaînes de Markov Résumé Une chaîne de Markov est un processus aléatoire (Xn)n2N dont les transitions sont données par une matrice stochastique P(Xn,Xn+1) Ces processus vérifient la propriété de Markov, c’est-à-dire qu’observés àpartird’untemps(d’arrêt)T, (XT+n)n2N ne dépend que de XT et est de nouveau une chaîne de

Processus de Markov et applications - PAESTEL

de Monte Carlo, le chapitre 2 sur les chaînes de Markov en temps discret à valeurs dans un ensemble ˝ni ou dØnombrable, et les chapitres 6 et 7 sur le processus de Poisson et les processus markoviens de sauts, qui sont des processus en temps continu, à nouveau à valeurs dans un ensemble ˝ni ou dØnombrable

Processus stochastiques mod elisation

Chapitre 1 : PROCESSUS DE MARKOV 1 1 G´en´eralit´es p05 1 2 Chaˆınes de Markov a temps discret p06 1 2 1 Matrice de transition et graphe d’une chaˆıne de Markov p06 1 2 2 Exemples classiques de chaˆınes de Markov p06 1 2 3 Classification des ´etats p07 1 2 4 Absorption par les classes r´ecurrentes dans le cas fini p10

MAT-3071 Processus Stochastiques - univ-rennes1fr

3 Processus de Poisson Rappels sur les lois exponentielle et de Poisson, processus de comptage, d´efinition d’un processus de Poisson, Processus de Poisson compos´e, Processus de renouvellement, application a la ruine d’une compagnie d’assurance 4 Chaˆınes de Markov `a temps continu

Théorèmes limites pour les processus de Markov à sauts

nombres pour les processus de Markov (Darling, 2002, Darling et al , 2005) Dans les mêmes conditions, il existe aussi un théorème central limite qui permet l’approxima-

THESE - ecoledzweeblycom

processus de Markov, des résultats ont été souvent obtenus pour le mouvement Brownien en premier, puis pour les processus stables symétriques d’indice α, et ensuite pour les processus de Lévy généraux ou les processus de Markov A chaque étape de généralisation, quelques propriétés spéciales du processus sont utilisées

[PDF] temperature pdf

[PDF] calorimétrie pdf

[PDF] la chambre des officiers résumé film

[PDF] la chambre des officiers questionnaire reponse

[PDF] la chambre des officiers contexte historique

[PDF] la chambre des officiers clemence

[PDF] procédure de délogement d'un client

[PDF] comment satisfaire un client ayant été délogé subitement

[PDF] délogement interne ou externe

[PDF] overbooking hotel definition

[PDF] lancement d'une entreprise module 1

[PDF] lancement d'une entreprise module 7

[PDF] lancement d une entreprise module 4

[PDF] présenter une entreprise dans un mémoire

[PDF] exemple de présentation d'entreprise pour rapport de stage

Chapitre2

ChaînesdeMarkov

Résumé.Unechaînede Markovestunpro cessusaléatoire(X n n!N dont lestransitio nssontdonnéesparune matricestochastiqueP(X n ,X n+1 Cesproc essusvérifientlapropriétéde Markov,c'est-à-direqu'ob servés

àpartird'untemps(d'arrêt)T,(X

T+n n!N nedépend quedeX T etest denouv eauunechaînedeMarkov. Lesétatsd 'unechaînedeMarkov peuventêtreclassése ndeuxcatégo ries:lesétatstr ansitoires,quine sontvisitésqu'unnombre finidefois p.s.,etles étatsr écurrents,quiune foisatteints sontvisités p.s.uneinfinitédefois, ainsiquetouslesautres étatsdanslamême classederéc urrenc e.Pourunecha înedeMarkov irréductiblerécu rrente,lamesureempiriqueetlaloima rgina ledupro - cessusconv ergentsoitversl'uniquemesuredeprobabilitéP-invariante (récurrencepositive),soit verslevecteur nul(récurrencenulle).Cette théories'appliqueen particulierauxmarchesaléatoiresetau xmodèles defilesd'attente. Danscequis uit,onfixeune spac ed'étatsXfiniou dénombrable,muni delatribude l'ensembledesparties P(X).SiXestfini,on noteraNsonnombre d'éléments.

1.Ma tricesstochastiqueset propriétédeMarkov

1.1.Cha înesdeMarkov.UnematricestochastiquesurXestunefonction P:

(x,y)!X"#P(x,y)![0,1]telleque,p ourto utx!X, y!X

P(x,y)=1.

Autrementdit,tout x!Xdéfinitunemesure de probabilité P(x,·)surX,appelée probabilitédetransitionàpartirdex. Définition2.1(Chaîne deMarkov).Unechaîne deMar kovsur Xdematric ede transitionPestune suitedevariablesaléatoir es(X n n!N définiessurun espace (!,B,P) età valeursdans X,tellequepourtoutn,ettouspointsx 0 ,...,x n+1 P[X n+1 =x n+1 |X 0 =x 0 ,...,X n =x n ]=P(x n ,x n+1

Ainsi,lalo iconditio nnelleP

X n+1 |(X 0 ,...,Xn) estlaprobabilité detransitio nP(X n ,·).Il estutiled ereprésenter lesmesuresdeprobabilité "surXpardesvecteursen ligne ("(x 1 ),"(x 2 ),...,"(x k ),...).Alors,si" 0 estlaloi deX 0 ,quipeutêtrearbitraire,ona P[(X 0 ,X 1 ,...,X n )=(x 0 ,x 1 ,...,x n )]="(x 0 )P(x 0 ,x 1 )···P(x n"1 ,x n 7

82. CHAÎNE SDEMARKOV

parconditionneme ntsuccessif,desortequ'enparticulierlaloi" n deX n estdonnée par leproduit matriciel" n 0 P n .D'unpo intdevuedual,sifestunefonction bornéesur

X,vuecommeunvecteurcolonne,alors

E[f(X n+1 )|X 0 =x 0 ,...,X n =x n ]=(Pf)(x n E[f(X n n f=" 0 P n f. Notonsquelesproduitsmatriciels considérésso ntlicites mêmelorsquel'espace d'états estinfinidénom brable,puisqu'ona desbonnesbornessur lessommesde coe cientssur chaquelignedelam atricedetransi tion. Exemple.Onrepr ésenteusuellementunechaînedeMa rkovd'espaced'étatsXpar ungra pheorientéétiquetéG=(V,E)dontlessommetssont leséléments deX,etdont lesarê tesétiquetéessontlescouples (x,y)avecP(x,y)>0,lavaleurdelaprobabilité detransitio nétantl'étiquettedel'arêtex#y.Con sidéronsparexemplelachaînede Markovd'espaced' états[[1,N]],etdematricedetransition P= 1 3 111
11 .11 111
1 31
3 1 3 9 Leg rapheassociéestdessinéci-dessus, etlachaîneconsidéréeestl amarc hea léatoire surlecercle Z/NZoù,àchaq ueét ape,onaprobabilité1/3derestera umêmeendro it,et probabilité1/3desauter àgaucheo uàdro ite.Lesloismarginalesdecettec haînepeuvent êtrecalculéesco mmesuit.P ourtoutvecteurv!(C) Z/NZ ,notons

ˆv(k)=

1 N N j=1 v(j)# jk satransforméede Fourier discrète, avec#=e 2i!/N .D'autrepart,notonsC N lamatrice circulante C N 01 0 .1 10 ;P= I+C N +(C N "1 3

Pourtoutve cteurv,

(vC N )(k)=# k N parla transforméedeFourierdiscrètea gitdia gonalement,avec valeurs propres#,# 2 N .Il s'ensuitquesi Destlamat rice diagonale

D=diag

1+2cos

2! N 3

1+2cos

4! N 3

1+2cos

2N! N 3

1.MATR ICESSTOCHASTIQUESETPROP RIÉTÉDEMARKOV9

alorspourtout emesureiniti ale" 0 ,ona n 0 P n 0 D n où+·indiquelatra nsforméede Fourierinverse: +v(l)= 1 N N k=1 v(k)# "kl

Enpa rticulier,commeD

n pourtoutem esureinitiale" 0 ,laloimarginale" n convergeverslevecteur( 1 N 1 N C'estuncaspa rticul ierdesthé orèmesergodiquesquiserontévoqués auparagr aphe3.

Onpeu tmontrerqu epourtoutemesureinit iale"

0 surX,ettoutematricedetransition P,i lexist ee"ectivementunechaînedeMarkovave ccetteme sureinitialeetcett ematr ice detransitio n.OnnoteraP 0 etE 0 lesproba bilitésetespérancesrelativesà cettecha îne deMarko v,etdanslecasparti culie roù" 0 x estconcentrée enunseulpoint x!X, onnot eraP x etE x .Ces probab ilitésportentsurl'espacedestrajecto ires (X N ,P(X) #N munidelat ribupr oduit, etsurcetespace ,onaunicitéenloistraject oriel lesd'unech aîne deMark ovdeloiinitiale etmatr icedetra nsitiondonnées:laloiP 0 estentièremen tdé- terminéepar l'équation(!!).Cette propriété(!!)assurequelestransitionsd'unechaîne deMarko vautempsnsonthomogènesen temps(Pnedép endpasden),etne dépendent quedel'éta tprésen t,c'est-à-direque laloiconditionnellede X n+1 sachanttoutelatra- jectoire(X 0 ,...,X n )nedépend enfaitquede X n .Unereformulationdecesobservations estdonnée parlapropriétédeMarkov:

Proposition2.2.Si(X

n n!N estunechaîne deMarkov deloiP 0 ,alorspourtout m+n n!N estaussi unechaînede Markov, deloiP !m m indépendantede (X 0 ,...,X m"1 Ene et,onpeu tcalcu lerlesloist rajectoriellesdelachaîne deMarkovd écalée: P[X m =y 0 ,X m+1 =y 1 ,...,X m+n =y n x 0 ,x 1 ,...,x m!1 P[X 0 =x 0 ,...,X m"1 =x m"1 ,X m =y 0 ,...,X m+n =y n x 0 ,x 1 ,...,x m!1 0 (x 0 )P(x 0 ,x 1 )···P(x m"1 ,y 0 )P(y 0 ,y 1 )···P(y n"1 ,y n 0 P m )(y 0 )P(y 0 ,y 1 )···P(y n"1 ,y n m (y 0 )P(y 0 ,y 1quotesdbs_dbs22.pdfusesText_28