Quiz d’entraînement sur les chaînes de Markov et les processus stochastiques avec une leçon interactive pas à pas
Utilisez la série de questions plus bas sur la page pour vous entraîner aux chaînes de Markov et aux processus stochastiques : la propriété de Markov, les matrices de transition stochastiques par lignes, les mises à jour de distribution \(pP\), les puissances \(P^n\), la loi de Chapman-Kolmogorov, les distributions stationnaires \(\pi P=\pi\), les états absorbants et les classes fermées, l’irréductibilité, les états récurrents et transitoires, la période et l’apériodicité, la convergence des chaînes finies, les martingales, les sous-martingales, les surmartingales, les filtrations et les temps d’arrêt. Pour réviser, ouvrez la leçon : vous y trouverez des exemples faciles à suivre et des vérifications rapides.
Répondez à la série de questions et révisez vos erreurs à la fin.
Comment fonctionne cet entraînement sur les chaînes de Markov et les processus stochastiques
1. Faites la série de questions : répondez aux questions sur les probabilités de transition, les distributions stationnaires, la récurrence, la périodicité, les martingales et les temps d’arrêt.
2. Ouvrez la leçon : revoyez les matrices stochastiques par lignes, la structure en classes, le comportement à long terme, les chaînes absorbantes et les outils d’espérance conditionnelle.
3. Réessayez : revenez à la série de questions et décidez s’il faut calculer une entrée de matrice, résoudre \(\pi P=\pi\), classer un état ou vérifier une espérance conditionnelle.
Ce que vous allez apprendre dans la leçon sur les chaînes de Markov et les processus stochastiques
Lois de transition et puissances de matrices
Lire \(P_{ij}\) comme la probabilité de passer de l’état \(i\) à l’état \(j\) en un pas.
Mettre à jour les distributions en vecteurs lignes par \(p_{n+1}=p_nP\) et \(p_n=p_0P^n\).
Utiliser Chapman-Kolmogorov : \(P^{m+n}=P^mP^n\).
Comportement stationnaire et à long terme
Résoudre \(\pi P=\pi\) avec \(\sum_i\pi_i=1\).
Reconnaître \(\pi\) comme un vecteur propre à gauche de valeur propre \(1\).
Reconnaître les distributions uniformes stationnaires dans les chaînes doublement stochastiques et les lignes stationnaires des chaînes finies irréductibles apériodiques.
Structure en classes des chaînes finies
Classer les classes communicantes, les classes fermées et les états absorbants.
Distinguer les états récurrents des états transitoires dans les chaînes finies.
Calculer les périodes à partir du pgcd des temps de retour possibles.
Processus, martingales et temps d’arrêt
Utiliser les filtrations \(\mathcal F_n\) pour représenter l’information connue au temps \(n\).
Vérifier les martingales avec \(E[X_{n+1}\mid\mathcal F_n]=X_n\).
Reconnaître que les temps d’arrêt doivent être décidés à partir des informations passées et présentes, pas de données futures non observées.
Leçon sur les chaînes de Markov et les processus stochastiques
1 / 8
Modéliser un mouvement aléatoire une étape à la fois
Objectif : construire une boîte à outils fiable pour les chaînes de Markov finies et les idées voisines sur les processus stochastiques. Vous allez lire des matrices de transition, calculer des probabilités en plusieurs étapes, résoudre des distributions stationnaires, classer des états, reconnaître les comportements périodiques et relier l’espérance conditionnelle aux martingales et aux temps d’arrêt.
Critères de réussite
Énoncer la propriété de Markov : conditionnellement à l’état présent, le futur ne dépend pas du passé antérieur.
Vérifier qu’une matrice de transition finie est stochastique par lignes : les entrées sont non négatives et la somme de chaque ligne vaut \(1\).
Mettre à jour les distributions en vecteurs lignes par \(p_{n+1}=p_nP\) et lire \(P^n_{ij}\) comme une probabilité en \(n\) étapes.
Utiliser Chapman-Kolmogorov : \(P^{m+n}=P^mP^n\).
Résoudre \(\pi P=\pi\) avec \(\sum_i\pi_i=1\) pour trouver les distributions stationnaires, y compris les distributions uniformes des chaînes doublement stochastiques.
Classer les états absorbants, les classes communicantes, les chaînes irréductibles, les états récurrents et les états transitoires.
Trouver les périodes à partir des temps de retour et savoir pourquoi une boucle sur soi force la période \(1\).
Décrire le comportement de convergence des chaînes finies irréductibles apériodiques.
Reconnaître les martingales, les sous-martingales, les surmartingales et les temps d’arrêt avec l’espérance conditionnelle et l’information disponible jusque-là.
Vocabulaire clé
Processus stochastique : une suite de variables aléatoires comme \(X_0,X_1,X_2,\dots\).
Chaîne de Markov : un processus stochastique dont la loi de l’état suivant dépend de l’état courant, pas de tout le passé.
Matrice de transition : \(P_{ij}=\Pr(X_{n+1}=j\mid X_n=i)\), chaque ligne étant une distribution de probabilité.
Distribution stationnaire : une distribution \(\pi\) telle que \(\pi P=\pi\).
Classe communicante : des états qui peuvent s’atteindre mutuellement.
Période : le pgcd des temps de retour possibles vers un état.
Martingale : un processus tel que \(E[X_{n+1}\mid\mathcal F_n]=X_n\).
Temps d’arrêt : un temps aléatoire décidé avec l’information disponible jusqu’à ce temps.
Vérification rapide initiale
Vérification initiale : Dans une chaîne de Markov, après conditionnement par l’état présent, de quoi dépend le futur à un pas ?
Indice : le passé peut influencer le futur à travers l’état courant, mais une fois l’état courant connu, les états antérieurs n’ajoutent aucune information supplémentaire pour la loi du pas suivant.
Les lignes codent les probabilités à un pas
Objectif d’apprentissage : lire une matrice de transition finie et calculer des distributions à un pas ou en plusieurs étapes sans perdre la convention probabiliste.
Idée clé
Avec la convention des vecteurs lignes, une distribution courante \(p_n\) est mise à jour par \(p_{n+1}=p_nP\). L’entrée \(P_{ij}\) est la probabilité de passer de l’état \(i\) à l’état \(j\) en un pas.
Règles matricielles
Chaque entrée vérifie \(0\le P_{ij}\le1\).
La somme de chaque ligne vaut \(1\), car l’état suivant doit bien être l’un des états.
Un déplacement déterministe a une entrée de ligne égale à \(1\) et les autres à \(0\).
Un état absorbant \(i\) a \(P_{ii}=1\).
Si \(p_0\) est une distribution, alors \(p_0P^n\) est la distribution après \(n\) étapes.
Si toutes les lignes sont identiques, une étape envoie toute distribution initiale sur cette ligne commune.
Chapman-Kolmogorov
Les transitions en plusieurs étapes se composent : \[P^{m+n}=P^mP^n.\] Entrée par entrée, cela somme sur tous les états intermédiaires possibles.
Exemple corrigé
Exemple : Soit \(P=\begin{pmatrix}1/2&1/2\\1/4&3/4\end{pmatrix}\) et \(p_0=(1,0)\). Que vaut \(p_1\) ?
Multipliez à droite : \[p_1=p_0P=(1,0)\begin{pmatrix}1/2&1/2\\1/4&3/4\end{pmatrix}=(1/2,1/2).\] En partant de l’état \(1\), la distribution suivante est simplement la ligne \(1\) de \(P\).
À vous
À vous : Dans une matrice de transition, comment faut-il classer la ligne \((1/4,3/4)\) ?
Indice : vérifiez la non-négativité et la somme de la ligne.
Une distribution stationnaire est inchangée par une étape
Objectif d’apprentissage : reconnaître et résoudre les équations stationnaires pour les chaînes finies.
Idée clé
Une distribution écrite en vecteur ligne \(\pi\) est stationnaire lorsque \(\pi P=\pi\). En termes d’algèbre linéaire, \(\pi\) est un vecteur propre à gauche de \(P\) de valeur propre \(1\), normalisé pour que ses entrées soient non négatives et aient pour somme \(1\).
Liste de résolution
Écrivez \(\pi=(\pi_1,\dots,\pi_k)\).
Résolvez \(\pi P=\pi\).
Ajoutez la normalisation \(\pi_1+\cdots+\pi_k=1\).
Vérifiez que les entrées sont non négatives.
Une matrice finie doublement stochastique préserve la distribution uniforme.
Pour \(P=I\), toute distribution de probabilité est stationnaire.
Dans les chaînes réductibles, les distributions stationnaires peuvent ne pas être uniques.
Raccourci à deux états
Pour \(P=\begin{pmatrix}1-a&a\\b&1-b\end{pmatrix}\) avec \(a+b\) positif, la distribution stationnaire est proportionnelle à \((b,a)\), donc \(\pi=\left(\frac{b}{a+b},\frac{a}{a+b}\right)\).
Exemple corrigé
Exemple : Trouvez une distribution stationnaire pour \(P=\begin{pmatrix}1/2&1/2\\1/2&1/2\end{pmatrix}\).
Les deux lignes sont uniformes. Multiplier n’importe quelle distribution par \(P\) donne \((1/2,1/2)\), donc \(\pi=(1/2,1/2)\) est stationnaire. C’est le raccourci des lignes identiques : elles envoient toute distribution courante sur cette ligne commune.
À vous
À vous : Que signifie \(\pi P=\pi\) ?
Indice : une transition laisse la distribution exactement comme elle était.
L’accessibilité contrôle la structure de la chaîne
Objectif d’apprentissage : utiliser l’accessibilité dans le graphe pour classer les états et les classes communicantes.
Idée clé
On dit que \(i\) atteint \(j\) si \((P^n)_{ij}>0\) pour un certain \(n\ge0\). Des états communiquent lorsque chacun atteint l’autre. Une chaîne finie irréductible possède une seule classe communicante.
Langage de classification
Classe fermée : une fois entrée, la chaîne ne peut pas quitter la classe.
État absorbant : une classe fermée à un seul état, de façon équivalente \(P_{ii}=1\).
État récurrent : on y revient avec probabilité \(1\).
État transitoire : il n’est visité qu’un nombre fini de fois avec probabilité \(1\).
Chaîne irréductible : chaque état communique avec chaque autre état.
Faits sur les chaînes finies
Dans une chaîne finie irréductible, chaque état est récurrent. Dans une chaîne finie réductible, les états hors des classes fermées sont souvent transitoires, car la probabilité finit par entrer dans une classe fermée et y rester.
Exemple corrigé
Exemple : Pour \(P=\begin{pmatrix}1&0\\1/2&1/2\end{pmatrix}\), quel état est absorbant ?
L’état \(1\) est absorbant parce que la ligne \(1\) est \((1,0)\), donc \(P_{11}=1\). L’état \(2\) peut aller vers l’état \(1\), mais l’état \(1\) ne peut pas revenir vers l’état \(2\), donc la chaîne n’est pas irréductible.
À vous
À vous : Que signifie irréductible pour une chaîne de Markov finie ?
Indice : pensez au graphe orienté avec une flèche \(i\to j\) lorsqu’une transition a une probabilité positive.
L’arithmétique des temps de retour détermine l’apériodicité
Objectif d’apprentissage : calculer des périodes simples et savoir pourquoi l’apériodicité compte pour la convergence.
Idée clé
La période d’un état \(i\) est le pgcd de tous les \(n\) positifs tels que \((P^n)_{ii}>0\). Un état de période \(1\) est apériodique. Dans une chaîne irréductible, tous les états ont la même période.
Image de convergence
Si une chaîne finie est irréductible et apériodique, elle possède une distribution stationnaire unique \(\pi\).
Pour une telle chaîne, \(P^n\) converge vers une matrice dont les lignes sont toutes \(\pi\).
Si la chaîne est périodique, une distribution stationnaire peut exister tandis que \(P^n\) oscille encore.
Si la chaîne est réductible, le comportement limite dépend des classes fermées qui peuvent être atteintes.
Boucles sur soi
Une boucle sur soi \(P_{ii}>0\) donne un retour possible en un pas, donc le pgcd des temps de retour inclut \(1\). Cela force la période \(1\).
Exemple corrigé
Exemple : Pour \(P=\begin{pmatrix}0&1\\1&0\end{pmatrix}\), que se passe-t-il après deux étapes ?
La chaîne alterne d’état à chaque étape. Ainsi \(P^2=I\), les retours se produisent aux temps pairs, et chaque état a période \(2\).
À vous
À vous : Quelle est la période de la chaîne avec \(P=\begin{pmatrix}0&1\\1&0\end{pmatrix}\) ?
Indice : en partant d’un état, comptez les temps auxquels un retour est possible.
Les états fermés transforment les questions de probabilité en équations
Objectif d’apprentissage : mettre en place des équations simples de probabilité d’atteinte et de temps d’atteinte pour les comportements absorbants.
Idée clé
Un état absorbant piège la chaîne après son entrée. Plus généralement, une classe communicante fermée ne peut pas être quittée. Les questions d’atteinte demandent si et quand le processus entre dans un ensemble choisi.
Équations d’atteinte
Pour une probabilité d’atteinte \(h_i\), utilisez les valeurs au bord \(h_i=1\) sur la cible et \(h_i=0\) sur les classes fermées impossibles.
Pour les autres états, utilisez \(h_i=\sum_j P_{ij}h_j\).
Pour un temps d’atteinte espéré \(t_i\), utilisez \(t_i=0\) sur la cible et \(t_i=1+\sum_jP_{ij}t_j\) ailleurs.
Gardez les équations petites en utilisant les symétries ou les états absorbants évidents.
Classes fermées
Une classe absorbante est une classe communicante qui ne peut pas être quittée. Un seul état absorbant est le plus petit exemple de cette idée.
Exemple corrigé
Exemple : Pour \(P=\begin{pmatrix}1&0\\1/2&1/2\end{pmatrix}\), en partant de l’état \(2\), quel est le temps espéré pour atteindre l’état \(1\) ?
Posons \(t_1=0\). Depuis l’état \(2\), \[t_2=1+\frac12t_1+\frac12t_2=1+\frac12t_2.\] Donc \(t_2=2\).
À vous
À vous : Si une chaîne de Markov démarre dans un état absorbant, où se trouve-t-elle après un pas ?
Indice : un état absorbant a \(P_{ii}=1\).
L’espérance conditionnelle suit la dérive équitable
Objectif d’apprentissage : relier l’intuition des chaînes de Markov au langage plus général des processus stochastiques, des filtrations, des martingales et des temps d’arrêt.
Idée clé
Un processus stochastique est toute famille indexée de variables aléatoires. Une filtration \((\mathcal F_n)\) enregistre l’information disponible au temps \(n\). Les énoncés de martingale sont des espérances conditionnelles relatives à cette information.
Dictionnaire de l’espérance conditionnelle
Martingale : \(E[X_{n+1}\mid\mathcal F_n]=X_n\).
Sous-martingale : \(E[X_{n+1}\mid\mathcal F_n]\ge X_n\), donc la dérive conditionnelle est non négative.
Surmartingale : \(E[X_{n+1}\mid\mathcal F_n]\le X_n\), donc la dérive conditionnelle est non positive.
Ce sont des énoncés sur des moyennes conditionnelles, pas sur chaque trajectoire qui augmenterait ou diminuerait.
Temps d’arrêt
Un temps d’arrêt \(\tau\) doit pouvoir être décidé avec l’information disponible jusqu’au temps \(n\) lorsqu’on vérifie si \(\tau\le n\). Par exemple, le premier instant où un processus atteint \(5\) est un temps d’arrêt ; le dernier instant avant la fin de l’expérience où il atteint \(5\) dépend d’informations futures.
Exemple corrigé
Exemple : Soit \(S_n\) une marche aléatoire équitable avec des pas indépendants \(+1\) ou \(-1\), chacun de probabilité \(1/2\). Pourquoi \(S_n\) est-elle une martingale ?
Étant donnée l’information courante, le prochain pas a une moyenne conditionnelle \(0\). Donc \(E[S_{n+1}\mid\mathcal F_n]=S_n+0=S_n\).
À vous
À vous : Une martingale satisfait \(E[X_{n+1}\mid\mathcal F_n]=\) quoi ?
Indice : une martingale a une dérive conditionnelle nulle à partir de sa valeur présente.
La plupart des erreurs mélangent les conventions ou ignorent les hypothèses
Objectif d’apprentissage : terminer en séparant les faits sur les matrices de transition, les faits à long terme et les faits d’espérance conditionnelle.
Pièges courants
Convention ligne contre colonne : cette leçon utilise les distributions lignes \(pP\). Avec des distributions colonnes, les formules se transposent.
Lignes de matrice invalides : les probabilités doivent être non négatives et la somme de chaque ligne doit valoir \(1\).
Stationnaire n’est pas absorbant : \(\pi P=\pi\) décrit une distribution, pas nécessairement un état fixe.
Les chaînes réductibles peuvent avoir plusieurs distributions stationnaires : chaque classe fermée peut porter une masse stationnaire.
La période peut bloquer la convergence : la chaîne qui alterne entre deux états a une distribution stationnaire, mais \(P^n\) oscille.
Raccourci de la boucle sur soi : \(P_{ii}>0\) donne la période \(1\) pour cette classe récurrente.
Le caractère transitoire est asymptotique : un état transitoire peut être visité plusieurs fois, mais seulement un nombre fini de fois avec probabilité \(1\).
Les temps d’arrêt utilisent l’information disponible : ils ne peuvent pas dépendre de résultats futurs non observés.
Martingale signifie moyenne conditionnelle équitable : cela ne signifie pas que la trajectoire reste constante.
Exemple corrigé
Exemple : La ligne \((1/4,1/4)\) est-elle valide comme ligne de transition complète ?
Non. Elle est non négative, mais la somme de ses entrées vaut \(1/2\), pas \(1\). Une ligne de transition complète doit répartir une probabilité totale \(1\) sur tous les états suivants.
À vous
À vous : De quoi un temps d’arrêt ne peut-il pas dépendre ?
Indice : au temps \(n\), la décision doit être fondée sur l’information disponible jusqu’au temps \(n\).
Récapitulatif final
Propriété de Markov : la loi de l’état suivant dépend de l’état courant une fois cet état courant connu.
Une matrice de transition a des entrées non négatives et des lignes dont la somme vaut \(1\).
Avec les vecteurs lignes, \(p_n=p_0P^n\).
Chapman-Kolmogorov : \(P^{m+n}=P^mP^n\).
Les distributions stationnaires résolvent \(\pi P=\pi\) et \(\sum_i\pi_i=1\).
Des lignes identiques envoient toute distribution courante sur la ligne commune ; les chaînes finies doublement stochastiques préservent la distribution uniforme ; \(P=I\) préserve toutes les distributions.
Un état absorbant a \(P_{ii}=1\) ; une classe fermée ne peut pas être quittée.
Irréductible signifie que chaque état peut atteindre chaque autre état.
La période est le pgcd des temps de retour possibles ; une boucle sur soi donne la période \(1\).
Les chaînes finies irréductibles apériodiques convergent vers des lignes stationnaires.
Les martingales satisfont \(E[X_{n+1}\mid\mathcal F_n]=X_n\).
Les temps d’arrêt se décident à partir des informations passées et présentes, pas de données futures non observées.
Étape suivante : fermez cette leçon et réessayez le quiz. Pour chaque question, décidez d’abord si elle porte sur une étape, plusieurs étapes, une distribution stationnaire, une classification d’états, une période ou une espérance conditionnelle.
