Lorsque le processus (Xt)t≥0 prend ses valeurs dans un espace d'états E au plus dénombrable, typiquement E fini ou E = Æ, on parle encore de processus markovien de sauts.
Adjectif.
Aléatoire.
Un phénomène stochastique est un phénomène qui ne se prête qu'à une analyse statistique, par opposition à un phénomène déterministe.
Lorsque les variables aléatoires successives sont des variables discrètes munies d'une fonction de probabilité, on parle de chaîne de Markov.