Source: https://www.math.univ-angers.fr/~labatte/enseignement UFR/master MIM PS/TDmarkov1.pdf