10. Chaînes de Markov et martingales
On appelle chaîne une suite de variables aléatoires X1, X2, ..., Xn, ... telles que la loi de probabilité de Xn dépende des épreuves précédentes. Une chaîne de Markov simple est une suite de telles variables dans laquelle la loi de Xn dépend uniquement de l'épreuve Xn−1. Supposons que Ω soit l'ensemble {1, 2, ..., n} des n premiers entiers. Appelons pij la probabilité pour Xn de l'événement j, l'épreuve précédente de rang n − 1 étant i ; naturellement, on a :
quel que soit
i. Considérons la matrice :
que l'on appelle souvent une
matrice stochastique. La matrice unité est une matrice stochastique et le produit
AB de deux matrices stochastiques est une matrice stochastique : en effet, les éléments de
AB sont bien entendu positifs et, de plus, on a :
l'ensemble des matrices stochastiques forme donc un semi-groupe. En particulier, les puissances d'une même matrice
A forment un semi-groupe ; étant donné les axiomes du calcul des probabilités, la matrice
An a pour élément de la
i-ième ligne et de la
j-ième colonne la probabilité pour la
n-ième variable X
n de l'événement
j, la première épreuve étant
i et les
probabilités de passage étant les mêmes quel que soit l'indice
n (on dit que la chaîne est stable). Cherchons le comportement de
An quand
n augmente indéfiniment. La matrice
A a pour valeur propre l'unité, car l'ensemble des équations :[…]
… pour nos abonnés, l'article se prolonge sur 17 pages…
