Cuestionario de práctica de cadenas de Markov y procesos estocásticos con una lección interactiva paso a paso
Usa el cuestionario más abajo en la página para practicar cadenas de Markov y procesos estocásticos: la propiedad de Markov, matrices de transición estocásticas por filas, actualizaciones de distribuciones \(pP\), potencias \(P^n\), la ley de Chapman-Kolmogorov, distribuciones estacionarias \(\pi P=\pi\), estados absorbentes y clases cerradas, irreducibilidad, recurrencia y transitoriedad, periodo y aperiodicidad, convergencia de cadenas finitas, martingalas, submartingalas, supermartingalas, filtraciones y tiempos de parada. Si necesitas repasar, abre la lección para ver ejemplos claros y comprobaciones rápidas.
Responde la serie de preguntas y revisa tus errores al final.
Cómo funciona esta práctica de cadenas de Markov y procesos estocásticos
1. Haz la serie de práctica: responde preguntas sobre probabilidades de transición, distribuciones estacionarias, recurrencia, periodicidad, martingalas y tiempos de parada.
2. Abre la lección: repasa matrices estocásticas por filas, estructura de clases, comportamiento a largo plazo, cadenas absorbentes y herramientas de esperanza condicional.
3. Vuelve a intentarlo: regresa al cuestionario y decide si debes calcular una entrada de matriz, resolver \(\pi P=\pi\), clasificar un estado o comprobar una esperanza condicional.
Lo que aprenderás en la lección de cadenas de Markov y procesos estocásticos
Leyes de transición y potencias de matrices
Lee \(P_{ij}\) como la probabilidad de pasar del estado \(i\) al estado \(j\) en un paso.
Actualiza distribuciones como vectores fila con \(p_{n+1}=p_nP\) y \(p_n=p_0P^n\).
Usa Chapman-Kolmogorov: \(P^{m+n}=P^mP^n\).
Comportamiento estacionario y a largo plazo
Resuelve \(\pi P=\pi\) junto con \(\sum_i\pi_i=1\).
Reconoce \(\pi\) como un vector propio izquierdo con valor propio \(1\).
Reconoce distribuciones estacionarias uniformes en cadenas doblemente estocásticas y filas estacionarias en cadenas finitas irreducibles y aperiódicas.
Estructura de clases de cadenas finitas
Clasifica clases comunicantes, clases cerradas y estados absorbentes.
Distingue estados recurrentes de estados transitorios en cadenas finitas.
Calcula periodos a partir del mcd de los tiempos de retorno posibles.
Procesos, martingalas y tiempos de parada
Usa filtraciones \(\mathcal F_n\) para representar la información conocida en el tiempo \(n\).
Lección de cadenas de Markov y procesos estocásticos
1 / 8
Modela el movimiento aleatorio un paso a la vez
Propósito: Construir un conjunto fiable de herramientas para cadenas de Markov finitas e ideas cercanas de procesos estocásticos. Leerás matrices de transición, calcularás probabilidades de varios pasos, resolverás distribuciones estacionarias, clasificarás estados, reconocerás comportamiento periódico y conectarás la esperanza condicional con martingalas y tiempos de parada.
Criterios de éxito
Enunciar la propiedad de Markov: condicionado al estado presente, el futuro no necesita el pasado anterior.
Comprobar que una matriz de transición finita es estocástica por filas: las entradas son no negativas y cada fila suma \(1\).
Actualizar distribuciones como vectores fila con \(p_{n+1}=p_nP\) y leer \(P^n_{ij}\) como una probabilidad de \(n\) pasos.
Usar Chapman-Kolmogorov: \(P^{m+n}=P^mP^n\).
Resolver \(\pi P=\pi\) con \(\sum_i\pi_i=1\) para distribuciones estacionarias, incluidas distribuciones uniformes en cadenas doblemente estocásticas.
Clasificar estados absorbentes, clases comunicantes, irreducibilidad, recurrencia y transitoriedad.
Hallar periodos a partir de tiempos de retorno y saber por qué un bucle propio fuerza periodo \(1\).
Enunciar el panorama de convergencia para cadenas finitas irreducibles y aperiódicas.
Reconocer martingalas, submartingalas, supermartingalas y tiempos de parada usando esperanza condicional e información disponible hasta el momento.
Vocabulario clave
Proceso estocástico: una sucesión de variables aleatorias como \(X_0,X_1,X_2,\dots\).
Cadena de Markov: un proceso estocástico cuya ley del siguiente estado depende del estado actual, no de todo el pasado.
Matriz de transición: \(P_{ij}=\Pr(X_{n+1}=j\mid X_n=i)\), con cada fila como una distribución de probabilidad.
Distribución estacionaria: una distribución \(\pi\) con \(\pi P=\pi\).
Clase comunicante: estados que pueden alcanzarse entre sí.
Periodo: el mcd de los tiempos de retorno posibles a un estado.
Martingala: un proceso con \(E[X_{n+1}\mid\mathcal F_n]=X_n\).
Tiempo de parada: un tiempo aleatorio decidido usando la información disponible hasta ese momento.
Comprobación rápida previa
Comprobación previa: En una cadena de Markov, después de condicionar al estado presente, ¿de qué depende el futuro de un paso?
Pista: El pasado puede influir en el futuro a través del estado actual, pero una vez conocido el estado actual, los estados anteriores no añaden información extra para la ley del siguiente paso.
Las filas codifican probabilidades de un paso
Objetivo de aprendizaje: Leer una matriz de transición finita y calcular distribuciones de uno o varios pasos sin perder la convención probabilística.
Idea clave
Con la convención de vectores fila, una distribución actual \(p_n\) se actualiza mediante \(p_{n+1}=p_nP\). La entrada \(P_{ij}\) es la probabilidad de pasar del estado \(i\) al estado \(j\) en un paso.
Reglas de matrices
Cada entrada satisface \(0\le P_{ij}\le1\).
Cada fila suma \(1\), porque el siguiente estado debe ser alguno.
Un movimiento determinista tiene una entrada de fila igual a \(1\) y las demás \(0\).
Un estado absorbente \(i\) tiene \(P_{ii}=1\).
Si \(p_0\) es una distribución, entonces \(p_0P^n\) es la distribución después de \(n\) pasos.
Si todas las filas son idénticas, un paso envía cualquier distribución inicial a esa fila común.
Chapman-Kolmogorov
Las transiciones de varios pasos se componen: \[P^{m+n}=P^mP^n.\] Entrada por entrada, esto suma sobre todos los estados intermedios posibles.
Ejemplo resuelto
Ejemplo: Sea \(P=\begin{pmatrix}1/2&1/2\\1/4&3/4\end{pmatrix}\) y \(p_0=(1,0)\). ¿Cuál es \(p_1\)?
Multiplica por la derecha: \[p_1=p_0P=(1,0)\begin{pmatrix}1/2&1/2\\1/4&3/4\end{pmatrix}=(1/2,1/2).\] Al empezar en el estado \(1\), la siguiente distribución es simplemente la fila \(1\) de \(P\).
Inténtalo
Inténtalo: En una matriz de transición, ¿cómo debe clasificarse la fila \((1/4,3/4)\)?
Pista: Comprueba la no negatividad y la suma de la fila.
Una distribución estacionaria no cambia en un paso
Objetivo de aprendizaje: Reconocer y resolver ecuaciones estacionarias para cadenas finitas.
Idea clave
Una distribución fila \(\pi\) es estacionaria cuando \(\pi P=\pi\). En términos de álgebra lineal, \(\pi\) es un vector propio izquierdo de \(P\) con valor propio \(1\), normalizado para que sus entradas sean no negativas y sumen \(1\).
Lista de resolución
Escribe \(\pi=(\pi_1,\dots,\pi_k)\).
Resuelve \(\pi P=\pi\).
Añade la normalización \(\pi_1+\cdots+\pi_k=1\).
Comprueba que las entradas sean no negativas.
Una matriz finita doblemente estocástica preserva la distribución uniforme.
Para \(P=I\), toda distribución de probabilidad es estacionaria.
En cadenas reducibles, las distribuciones estacionarias pueden no ser únicas.
Atajo de dos estados
Para \(P=\begin{pmatrix}1-a&a\\b&1-b\end{pmatrix}\) con \(a+b\) positivo, la distribución estacionaria es proporcional a \((b,a)\), así que \(\pi=\left(\frac{b}{a+b},\frac{a}{a+b}\right)\).
Ejemplo resuelto
Ejemplo: Encuentra una distribución estacionaria para \(P=\begin{pmatrix}1/2&1/2\\1/2&1/2\end{pmatrix}\).
Ambas filas son uniformes. Multiplicar cualquier distribución por \(P\) da \((1/2,1/2)\), así que \(\pi=(1/2,1/2)\) es estacionaria. Este es el atajo de la fila común: filas idénticas envían cualquier distribución actual a esa fila.
Inténtalo
Inténtalo: ¿Qué significa \(\pi P=\pi\)?
Pista: Una transición deja la distribución exactamente como estaba.
La alcanzabilidad controla la estructura de la cadena
Objetivo de aprendizaje: Usar la alcanzabilidad en grafos para clasificar estados y clases comunicantes.
Idea clave
Di que \(i\) alcanza a \(j\) si \((P^n)_{ij}>0\) para algún \(n\ge0\). Los estados se comunican cuando cada uno alcanza al otro. Una cadena finita irreducible tiene una sola clase comunicante.
Lenguaje de clasificación
Clase cerrada: una vez que se entra, la cadena no puede salir de la clase.
Estado absorbente: una clase cerrada de un solo estado, equivalentemente \(P_{ii}=1\).
Estado recurrente: se vuelve a él con probabilidad \(1\).
Estado transitorio: se visita solo un número finito de veces con probabilidad \(1\).
Cadena irreducible: todo estado se comunica con todos los demás.
Hechos de cadenas finitas
En una cadena finita irreducible, todos los estados son recurrentes. En una cadena finita reducible, los estados fuera de las clases cerradas suelen ser transitorios porque la probabilidad acaba entrando en una clase cerrada y permanece allí.
Ejemplo resuelto
Ejemplo: Para \(P=\begin{pmatrix}1&0\\1/2&1/2\end{pmatrix}\), ¿qué estado es absorbente?
El estado \(1\) es absorbente porque la fila \(1\) es \((1,0)\), así que \(P_{11}=1\). El estado \(2\) puede moverse al estado \(1\), pero el estado \(1\) no puede volver al estado \(2\), así que la cadena no es irreducible.
Inténtalo
Inténtalo: ¿Qué significa irreducible para una cadena de Markov finita?
Pista: Piensa en el grafo dirigido con una flecha \(i\to j\) cuando una transición tiene probabilidad positiva.
La aritmética de tiempos de retorno decide la aperiodicidad
Objetivo de aprendizaje: Calcular periodos simples y saber por qué la aperiodicidad importa para la convergencia.
Idea clave
El periodo de un estado \(i\) es el mcd de todos los \(n\) positivos tales que \((P^n)_{ii}>0\). Un estado con periodo \(1\) es aperiódico. En una cadena irreducible, todos los estados tienen el mismo periodo.
Panorama de convergencia
Si una cadena finita es irreducible y aperiódica, tiene una distribución estacionaria única \(\pi\).
Para tal cadena, \(P^n\) converge a una matriz cuyas filas son todas \(\pi\).
Si la cadena es periódica, puede existir una distribución estacionaria aunque \(P^n\) siga oscilando.
Si la cadena es reducible, el comportamiento límite depende de las clases cerradas que se pueden alcanzar.
Bucles propios
Un bucle propio \(P_{ii}>0\) da un retorno posible en un paso, así que el mcd de los tiempos de retorno incluye \(1\). Eso fuerza periodo \(1\).
Ejemplo resuelto
Ejemplo: Para \(P=\begin{pmatrix}0&1\\1&0\end{pmatrix}\), ¿qué ocurre después de dos pasos?
La cadena alterna de estado en cada paso. Por tanto \(P^2=I\), los retornos ocurren en tiempos pares y cada estado tiene periodo \(2\).
Inténtalo
Inténtalo: ¿Cuál es el periodo de la cadena con \(P=\begin{pmatrix}0&1\\1&0\end{pmatrix}\)?
Pista: Desde un estado inicial, cuenta los tiempos en que es posible regresar.
Los estados cerrados convierten preguntas de probabilidad en ecuaciones
Objetivo de aprendizaje: Plantear ecuaciones simples de probabilidad de llegada y tiempo de llegada para comportamiento absorbente.
Idea clave
Un estado absorbente atrapa la cadena después de entrar en él. Más en general, una clase comunicante cerrada no puede abandonarse. Las preguntas de llegada preguntan si el proceso entra en un conjunto elegido y cuándo lo hace.
Ecuaciones de llegada
Para una probabilidad de llegada \(h_i\), usa valores de frontera \(h_i=1\) en el objetivo y \(h_i=0\) en clases cerradas imposibles.
Para otros estados, usa \(h_i=\sum_j P_{ij}h_j\).
Para un tiempo esperado de llegada \(t_i\), usa \(t_i=0\) en el objetivo y \(t_i=1+\sum_jP_{ij}t_j\) en los demás casos.
Mantén las ecuaciones pequeñas usando simetría o estados absorbentes evidentes.
Clases cerradas
Una clase absorbente es una clase comunicante que no puede abandonarse. Un único estado absorbente es el ejemplo más pequeño de esta idea.
Ejemplo resuelto
Ejemplo: Para \(P=\begin{pmatrix}1&0\\1/2&1/2\end{pmatrix}\), empezando desde el estado \(2\), ¿cuál es el tiempo esperado para llegar al estado \(1\)?
Sea \(t_1=0\). Desde el estado \(2\), \[t_2=1+\frac12t_1+\frac12t_2=1+\frac12t_2.\] Por tanto \(t_2=2\).
Inténtalo
Inténtalo: Si una cadena de Markov empieza en un estado absorbente, ¿dónde está después de un paso?
Pista: Un estado absorbente tiene \(P_{ii}=1\).
La esperanza condicional sigue la deriva justa
Objetivo de aprendizaje: Conectar la intuición de cadenas de Markov con el lenguaje más amplio de procesos estocásticos, filtraciones, martingalas y tiempos de parada.
Idea clave
Un proceso estocástico es cualquier familia indexada de variables aleatorias. Una filtración \((\mathcal F_n)\) registra la información disponible en el tiempo \(n\). Las afirmaciones de martingalas son esperanzas condicionales relativas a esta información.
Diccionario de esperanza condicional
Martingala: \(E[X_{n+1}\mid\mathcal F_n]=X_n\).
Submartingala: \(E[X_{n+1}\mid\mathcal F_n]\ge X_n\), así que la deriva condicional es no negativa.
Supermartingala: \(E[X_{n+1}\mid\mathcal F_n]\le X_n\), así que la deriva condicional es no positiva.
Estas son afirmaciones sobre promedios condicionales, no sobre que cada trayectoria muestral aumente o disminuya.
Tiempos de parada
Un tiempo de parada \(\tau\) debe poder decidirse con la información disponible hasta el tiempo \(n\) al comprobar si \(\tau\le n\). Por ejemplo, la primera vez que un proceso llega a \(5\) es un tiempo de parada; la última vez antes de mañana que llega a \(5\) depende de información futura.
Ejemplo resuelto
Ejemplo: Sea \(S_n\) un paseo aleatorio justo con pasos independientes \(+1\) o \(-1\), cada uno con probabilidad \(1/2\). ¿Por qué \(S_n\) es una martingala?
Dada la información actual, el siguiente paso tiene media condicional \(0\). Por tanto \(E[S_{n+1}\mid\mathcal F_n]=S_n+0=S_n\).
Inténtalo
Inténtalo: Una martingala satisface \(E[X_{n+1}\mid\mathcal F_n]=\) ¿qué?
Pista: Una martingala tiene deriva condicional cero desde el valor presente.
La mayoría de los errores mezclan convenciones o ignoran supuestos
Objetivo de aprendizaje: Terminar separando hechos de matrices de transición, hechos a largo plazo y hechos de esperanza condicional.
Errores comunes
Convención de filas frente a columnas: esta lección usa distribuciones fila \(pP\). Con distribuciones columna, las fórmulas se transponen.
Filas de matriz no válidas: las probabilidades deben ser no negativas y cada fila debe sumar \(1\).
Estacionaria no significa absorbente: \(\pi P=\pi\) describe una distribución, no necesariamente un estado fijo.
Las cadenas reducibles pueden tener muchas distribuciones estacionarias: cada clase cerrada puede soportar masa estacionaria.
El periodo puede bloquear la convergencia: la alternancia de dos estados tiene una distribución estacionaria, pero \(P^n\) oscila.
Atajo de bucle propio: \(P_{ii}>0\) da periodo \(1\) para esa clase recurrente.
Transitorio es eventual: un estado transitorio puede visitarse varias veces, pero solo un número finito de veces con probabilidad \(1\).
Los tiempos de parada usan información disponible: no pueden depender de resultados futuros no observados.
Martingala significa media condicional justa: no significa que la trayectoria permanezca constante.
Ejemplo resuelto
Ejemplo: ¿Es válida la fila \((1/4,1/4)\) como fila de transición completa?
No. Es no negativa, pero sus entradas suman \(1/2\), no \(1\). Una fila de transición completa debe asignar probabilidad total \(1\) entre todos los estados siguientes.
Inténtalo
Inténtalo: ¿De qué no puede depender un tiempo de parada?
Pista: En el tiempo \(n\), la decisión debe basarse en la información disponible hasta el tiempo \(n\).
Repaso final
Propiedad de Markov: la ley del siguiente estado depende del estado actual una vez conocido ese estado.
Una matriz de transición tiene entradas no negativas y filas que suman \(1\).
Con vectores fila, \(p_n=p_0P^n\).
Chapman-Kolmogorov: \(P^{m+n}=P^mP^n\).
Las distribuciones estacionarias resuelven \(\pi P=\pi\) y \(\sum_i\pi_i=1\).
Las filas idénticas envían cualquier distribución actual a la fila común; las cadenas finitas doblemente estocásticas preservan la distribución uniforme; \(P=I\) preserva toda distribución.
Un estado absorbente tiene \(P_{ii}=1\); una clase cerrada no puede abandonarse.
Irreducible significa que cada estado puede alcanzar a todos los demás.
El periodo es el mcd de los tiempos de retorno posibles; un bucle propio da periodo \(1\).
Las cadenas finitas irreducibles y aperiódicas convergen a filas estacionarias.
Las martingalas satisfacen \(E[X_{n+1}\mid\mathcal F_n]=X_n\).
Los tiempos de parada se deciden con información pasada y presente, no con datos futuros no observados.
Siguiente paso: Cierra esta lección y vuelve a intentar el cuestionario. Para cada pregunta, decide primero si pide un paso, muchos pasos, una distribución estacionaria, clasificación de estados, periodo o esperanza condicional.
