Source: https://livres-mathematiques.fr/onewebmedia/chapitre10-EtatsMarkov.pdf