^{PDFprof.com Search Engine}

Chaînes de Markov (et applications)

Quel est le principe Sous-jacent de la technique des chaines de Markov ?
Résumé.
Une chaîne de Markov est un processus aléatoire (Xn)n2N dont les transitions sont données par une matrice stochastique P(Xn,Xn+1).
Ces processus vérifient la propriété de Markov, c'est-à-dire qu'observés à partir d'un temps (d'arrêt) T, (XT+n)n2N ne dépend que de XT et est de nouveau une chaîne de Markov.
C'est quoi une chaîne de Markov irréductible ?
une chaîne de Markov est irréductible si tout état est accessible à partir de n'importe quel autre état ; un état est récurrent positif si l'espérance du temps de premier retour en cet état, partant de cet état, est finie.
Quand Est-ce qu'un processus est qualifié d'une chaîne de Markov ?
Lorsque les variables aléatoires successives sont des variables discrètes munies d'une fonction de probabilité, on parle de chaîne de Markov.
La chaîne est dite homogène si on a de plus pour tout k ∈ N et tout x et y dans E, P(Xk+1 = yXk = x) = P(X1 = yX0 = x).
Remarque : En toute rigueur il faudrait faire attention quand les événements par lesquels on conditionne peuvent être de probabilités nulles.

Quel est le principe Sous-jacent de la technique des chaines de Markov ?