Questionário de Prática de Cadeias de Markov e Processos Estocásticos com Aula Interativa Passo a Passo
Use a série de perguntas mais abaixo na página para praticar cadeias de Markov e processos estocásticos: a propriedade de Markov, matrizes de transição estocásticas por linhas, atualizações de distribuição \(pP\), potências \(P^n\), a lei de Chapman-Kolmogorov, distribuições estacionárias \(\pi P=\pi\), estados absorventes e classes fechadas, irredutibilidade, recorrência e transiência, período e aperiodicidade, convergência de cadeias finitas, martingais, submartingais, supermartingais, filtrações e tempos de parada. Se precisar revisar, abra a aula para exemplos claros e verificações rápidas.
Responda à série de perguntas e revise seus erros no final.
Como esta prática de cadeias de Markov e processos estocásticos funciona
1. Faça a série de prática: responda a perguntas sobre probabilidades de transição, distribuições estacionárias, recorrência, periodicidade, martingais e tempos de parada.
2. Abra a aula: revise matrizes estocásticas por linhas, estrutura de classes, comportamento de longo prazo, cadeias absorventes e ferramentas de esperança condicional.
3. Tente novamente: volte à série de perguntas e decida se deve calcular uma entrada de matriz, resolver \(\pi P=\pi\), classificar um estado ou verificar uma esperança condicional.
O que você vai aprender na aula de cadeias de Markov e processos estocásticos
Leis de transição e potências de matrizes
Leia \(P_{ij}\) como a probabilidade de passar do estado \(i\) para o estado \(j\) em um passo.
Atualize distribuições como vetores-linha por \(p_{n+1}=p_nP\) e \(p_n=p_0P^n\).
Use Chapman-Kolmogorov: \(P^{m+n}=P^mP^n\).
Comportamento estacionário e de longo prazo
Resolva \(\pi P=\pi\) junto com \(\sum_i\pi_i=1\).
Reconheça \(\pi\) como um autovetor à esquerda com autovalor \(1\).
Saiba quando cadeias finitas irredutíveis e aperiódicas convergem para linhas estacionárias.
Estrutura de classes de cadeias finitas
Classifique classes comunicantes, classes fechadas e estados absorventes.
Distinga estados recorrentes de estados transientes em cadeias finitas.
Calcule períodos a partir do mdc dos tempos de retorno possíveis.
Processos, martingais e tempos de parada
Use filtrações \(\mathcal F_n\) para representar a informação conhecida até o tempo \(n\).
Aula de Cadeias de Markov e Processos Estocásticos
1 / 8
Modele movimento aleatório um passo de cada vez
Objetivo: Construir um conjunto confiável de ferramentas para cadeias de Markov finitas e ideias próximas de processos estocásticos. Você vai ler matrizes de transição, calcular probabilidades em vários passos, resolver distribuições estacionárias, classificar estados, reconhecer comportamento periódico e conectar esperança condicional a martingais e tempos de parada.
Critérios de sucesso
Enunciar a propriedade de Markov: condicionando ao estado presente, o futuro não precisa do passado anterior.
Verificar que uma matriz de transição finita é estocástica por linhas: as entradas são não negativas e cada linha soma \(1\).
Atualizar distribuições como vetores-linha por \(p_{n+1}=p_nP\) e ler \(P^n_{ij}\) como uma probabilidade em \(n\) passos.
Usar Chapman-Kolmogorov: \(P^{m+n}=P^mP^n\).
Resolver \(\pi P=\pi\) com \(\sum_i\pi_i=1\) para distribuições estacionárias.
Classificar estados absorventes, classes comunicantes, irredutibilidade, recorrência e transiência.
Encontrar períodos a partir de tempos de retorno e saber por que um laço próprio força período \(1\).
Enunciar o quadro de convergência finita irredutível e aperiódica.
Reconhecer martingais, submartingais, supermartingais e tempos de parada usando esperança condicional e a informação disponível até o momento.
Vocabulário-chave
Processo estocástico: uma sequência de variáveis aleatórias como \(X_0,X_1,X_2,\dots\).
Cadeia de Markov: um processo estocástico cuja lei do próximo estado depende do estado atual, não de todo o passado.
Matriz de transição: \(P_{ij}=\Pr(X_{n+1}=j\mid X_n=i)\), com cada linha sendo uma distribuição de probabilidade.
Distribuição estacionária: uma distribuição \(\pi\) com \(\pi P=\pi\).
Classe comunicante: estados que conseguem alcançar uns aos outros.
Período: o mdc dos tempos de retorno possíveis a um estado.
Martingal: um processo com \(E[X_{n+1}\mid\mathcal F_n]=X_n\).
Tempo de parada: um tempo aleatório decidido usando informações disponíveis até esse tempo.
Pré-verificação rápida
Pré-verificação: Em uma cadeia de Markov, depois de condicionar ao estado presente, de que depende o futuro de um passo?
Dica: O passado pode influenciar o futuro por meio do estado atual, mas, uma vez conhecido o estado atual, os estados anteriores não acrescentam informação extra para a lei do próximo passo.
Linhas codificam probabilidades de um passo
Objetivo de aprendizagem: Ler uma matriz de transição finita e calcular distribuições de um passo ou de vários passos sem perder a convenção de probabilidade.
Ideia-chave
Com a convenção de vetores-linha, uma distribuição atual \(p_n\) é atualizada por \(p_{n+1}=p_nP\). A entrada \(P_{ij}\) é a chance de mover do estado \(i\) para o estado \(j\) em um passo.
Regras de matrizes
Toda entrada satisfaz \(P_{ij}\ge0\).
Cada linha soma \(1\), porque o próximo estado precisa estar em algum lugar.
Um movimento determinístico tem uma entrada da linha igual a \(1\) e as outras iguais a \(0\).
Um estado absorvente \(i\) tem \(P_{ii}=1\).
Se \(p_0\) é uma distribuição, então \(p_0P^n\) é a distribuição após \(n\) passos.
Chapman-Kolmogorov
Transições em vários passos se compõem: \[P^{m+n}=P^mP^n.\] Entrada por entrada, isso soma sobre todos os estados intermediários possíveis.
Exemplo resolvido
Exemplo: Seja \(P=\begin{pmatrix}1/2&1/2\\1/4&3/4\end{pmatrix}\) e \(p_0=(1,0)\). Quanto é \(p_1\)?
Multiplique à direita: \[p_1=p_0P=(1,0)\begin{pmatrix}1/2&1/2\\1/4&3/4\end{pmatrix}=(1/2,1/2).\] Começando no estado \(1\), a próxima distribuição é simplesmente a linha \(1\) de \(P\).
Pratique
Pratique: Em uma matriz de transição, como a linha \((1/4,3/4)\) deve ser classificada?
Dica: Verifique a não negatividade e a soma da linha.
Uma distribuição estacionária não muda após um passo
Objetivo de aprendizagem: Reconhecer e resolver equações estacionárias para cadeias finitas.
Ideia-chave
Uma distribuição-linha \(\pi\) é estacionária quando \(\pi P=\pi\). Em termos de álgebra linear, \(\pi\) é um autovetor à esquerda de \(P\) com autovalor \(1\), normalizado para que suas entradas sejam não negativas e somem \(1\).
Lista de resolução
Escreva \(\pi=(\pi_1,\dots,\pi_k)\).
Resolva \(\pi P=\pi\).
Adicione a normalização \(\pi_1+\cdots+\pi_k=1\).
Confira se as entradas são não negativas.
Em cadeias redutíveis, distribuições estacionárias podem não ser únicas.
Atalho de dois estados
Para \(P=\begin{pmatrix}1-a&a\\b&1-b\end{pmatrix}\) com \(a+b\) positivo, a distribuição estacionária é proporcional a \((b,a)\), então \(\pi=\left(\frac{b}{a+b},\frac{a}{a+b}\right)\).
Exemplo resolvido
Exemplo: Encontre uma distribuição estacionária para \(P=\begin{pmatrix}1/2&1/2\\1/2&1/2\end{pmatrix}\).
As duas linhas são uniformes. Multiplicar qualquer distribuição por \(P\) dá \((1/2,1/2)\), então \(\pi=(1/2,1/2)\) é estacionária.
Pratique
Pratique: O que significa \(\pi P=\pi\)?
Dica: Uma transição deixa a distribuição exatamente como estava.
Alcançabilidade controla a estrutura da cadeia
Objetivo de aprendizagem: Usar alcançabilidade em grafos para classificar estados e classes comunicantes.
Ideia-chave
Dizemos que \(i\) alcança \(j\) se \((P^n)_{ij}>0\) para algum \(n\ge0\). Estados comunicam quando cada um alcança o outro. Uma cadeia finita irredutível tem uma única classe comunicante.
Linguagem de classificação
Classe fechada: depois que entra nela, a cadeia não consegue sair da classe.
Estado absorvente: uma classe fechada de um só estado, equivalentemente \(P_{ii}=1\).
Estado recorrente: retorna com probabilidade \(1\).
Estado transiente: é visitado apenas um número finito de vezes com probabilidade \(1\).
Cadeia irredutível: todo estado comunica com todo outro estado.
Fatos sobre cadeias finitas
Em uma cadeia finita irredutível, todo estado é recorrente. Em uma cadeia finita redutível, estados fora de classes fechadas costumam ser transientes porque a probabilidade eventualmente se move para uma classe fechada e permanece lá.
Exemplo resolvido
Exemplo: Para \(P=\begin{pmatrix}1&0\\1/2&1/2\end{pmatrix}\), qual estado é absorvente?
O estado \(1\) é absorvente porque a linha \(1\) é \((1,0)\), então \(P_{11}=1\). O estado \(2\) pode se mover para o estado \(1\), mas o estado \(1\) não pode voltar para o estado \(2\), então a cadeia não é irredutível.
Pratique
Pratique: O que significa irredutível para uma cadeia de Markov finita?
Dica: Pense no grafo direcionado com uma seta \(i\to j\) quando uma transição tem probabilidade positiva.
A aritmética dos tempos de retorno decide aperiodicidade
Objetivo de aprendizagem: Calcular períodos simples e saber por que aperiodicidade importa para a convergência.
Ideia-chave
O período de um estado \(i\) é o mdc de todos os \(n\) positivos tais que \((P^n)_{ii}>0\). Um estado com período \(1\) é aperiódico. Em uma cadeia irredutível, todos os estados têm o mesmo período.
Quadro de convergência
Se uma cadeia finita é irredutível e aperiódica, ela tem uma distribuição estacionária única \(\pi\).
Para tal cadeia, \(P^n\) converge para uma matriz cujas linhas são todas \(\pi\).
Se a cadeia é periódica, uma distribuição estacionária pode existir enquanto \(P^n\) ainda oscila.
Se a cadeia é redutível, o comportamento limite depende das classes fechadas que podem ser alcançadas.
Laços próprios
Um laço próprio \(P_{ii}>0\) dá um retorno possível em um passo, então o mdc dos tempos de retorno inclui \(1\). Isso força período \(1\).
Exemplo resolvido
Exemplo: Para \(P=\begin{pmatrix}0&1\\1&0\end{pmatrix}\), o que acontece depois de dois passos?
A cadeia alterna entre estados a cada passo. Assim, \(P^2=I\), retornos ocorrem em tempos pares, e cada estado tem período \(2\).
Pratique
Pratique: Qual é o período da cadeia com \(P=\begin{pmatrix}0&1\\1&0\end{pmatrix}\)?
Dica: Partindo de um estado, conte os tempos em que o retorno é possível.
Estados fechados transformam perguntas de probabilidade em equações
Objetivo de aprendizagem: Montar equações simples de probabilidade de atingimento e tempo de atingimento para comportamento absorvente.
Ideia-chave
Um estado absorvente prende a cadeia depois que é alcançado. Mais geralmente, uma classe comunicante fechada não pode ser deixada. Perguntas de atingimento perguntam se e quando o processo entra em um conjunto escolhido.
Equações de atingimento
Para uma probabilidade de atingimento \(h_i\), use valores de fronteira \(h_i=1\) no alvo e \(h_i=0\) em classes fechadas impossíveis.
Para outros estados, use \(h_i=\sum_j P_{ij}h_j\).
Para um tempo esperado de atingimento \(t_i\), use \(t_i=0\) no alvo e \(t_i=1+\sum_jP_{ij}t_j\) nos demais estados.
Mantenha as equações pequenas usando simetria ou estados absorventes óbvios.
Classes fechadas
Uma classe absorvente é uma classe comunicante que não pode ser deixada. Um único estado absorvente é o menor exemplo dessa ideia.
Exemplo resolvido
Exemplo: Para \(P=\begin{pmatrix}1&0\\1/2&1/2\end{pmatrix}\), começando do estado \(2\), qual é o tempo esperado para atingir o estado \(1\)?
Seja \(t_1=0\). A partir do estado \(2\), \[t_2=1+\frac12t_1+\frac12t_2=1+\frac12t_2.\] Portanto \(t_2=2\).
Pratique
Pratique: Se uma cadeia de Markov começa em um estado absorvente, onde ela está após um passo?
Dica: Um estado absorvente tem \(P_{ii}=1\).
Esperança condicional acompanha a deriva justa
Objetivo de aprendizagem: Conectar a intuição de cadeias de Markov à linguagem mais ampla de processos estocásticos, filtrações, martingais e tempos de parada.
Ideia-chave
Um processo estocástico é qualquer família indexada de variáveis aleatórias. Uma filtração \((\mathcal F_n)\) registra a informação disponível até o tempo \(n\). Afirmações de martingal são esperanças condicionais relativas a essa informação.
Dicionário de esperança condicional
Martingal: \(E[X_{n+1}\mid\mathcal F_n]=X_n\).
Submartingal: \(E[X_{n+1}\mid\mathcal F_n]\ge X_n\), então a deriva condicional é não negativa.
Supermartingal: \(E[X_{n+1}\mid\mathcal F_n]\le X_n\), então a deriva condicional é não positiva.
Essas são afirmações sobre médias condicionais, não sobre cada trajetória amostral aumentar ou diminuir.
Tempos de parada
Um tempo de parada \(\tau\) deve ser decidível a partir da informação disponível até o tempo \(n\) ao verificar se \(\tau\le n\). Por exemplo, a primeira vez em que um processo atinge \(5\) é um tempo de parada; a última vez antes de amanhã em que ele atinge \(5\) depende de informação futura.
Exemplo resolvido
Exemplo: Seja \(S_n\) um passeio aleatório justo com passos independentes \(+1\) ou \(-1\), cada um com probabilidade \(1/2\). Por que \(S_n\) é um martingal?
Dada a informação atual, o próximo passo tem média condicional \(0\). Portanto \(E[S_{n+1}\mid\mathcal F_n]=S_n+0=S_n\).
Pratique
Pratique: Um martingal satisfaz \(E[X_{n+1}\mid\mathcal F_n]=\) o quê?
Dica: Um martingal tem deriva condicional zero a partir do valor presente.
A maioria dos erros mistura convenções ou ignora hipóteses
Objetivo de aprendizagem: Terminar separando fatos de matrizes de transição, fatos de longo prazo e fatos de esperança condicional.
Armadilhas comuns
Convenção de linha versus coluna: esta aula usa distribuições-linha \(pP\). Com distribuições-coluna, as fórmulas são transpostas.
Linhas de matriz inválidas: probabilidades devem ser não negativas e cada linha deve somar \(1\).
Estacionária não é absorvente: \(\pi P=\pi\) descreve uma distribuição, não necessariamente um estado fixo.
Cadeias redutíveis podem ter muitas distribuições estacionárias: classes fechadas podem sustentar massa estacionária cada uma.
Período pode bloquear convergência: a alternância de dois estados tem uma distribuição estacionária, mas \(P^n\) oscila.
Atalho do laço próprio: \(P_{ii}>0\) dá período \(1\) para essa classe recorrente.
Transiente é eventual: um estado transiente pode ser visitado várias vezes, mas apenas um número finito de vezes com probabilidade \(1\).
Tempos de parada usam informação disponível: eles não podem depender de resultados futuros ainda não vistos.
Martingal significa média condicional justa: não significa que a trajetória fica constante.
Exemplo resolvido
Exemplo: A linha \((1/4,1/4)\) é válida como uma linha de transição completa?
Não. Ela é não negativa, mas suas entradas somam \(1/2\), não \(1\). Uma linha de transição completa deve atribuir probabilidade total \(1\) a todos os próximos estados.
Pratique
Pratique: Um tempo de parada não pode depender de quê?
Dica: No tempo \(n\), a decisão deve se basear na informação disponível até o tempo \(n\).
Recapitulação final
Propriedade de Markov: a lei do próximo estado depende do estado atual uma vez que o estado atual é conhecido.
Uma matriz de transição tem entradas não negativas e linhas que somam \(1\).
Com vetores-linha, \(p_n=p_0P^n\).
Chapman-Kolmogorov: \(P^{m+n}=P^mP^n\).
Distribuições estacionárias resolvem \(\pi P=\pi\) e \(\sum_i\pi_i=1\).
Um estado absorvente tem \(P_{ii}=1\); uma classe fechada não pode ser deixada.
Irredutível significa que todo estado pode alcançar todo outro estado.
Período é o mdc dos tempos de retorno possíveis; um laço próprio dá período \(1\).
Cadeias finitas irredutíveis e aperiódicas convergem para linhas estacionárias.
Tempos de parada são decididos a partir de informações passadas e presentes, não de dados futuros ainda não vistos.
Próximo passo: Feche esta aula e tente o questionário novamente. Em cada pergunta, primeiro decida se ela pergunta sobre um passo, muitos passos, uma distribuição estacionária, classificação de estados, período ou esperança condicional.
Série de prática
Perguntas de prática de Markov Chains & Stochastic Processes com pontuação instantânea
Responda às 10 perguntas abaixo e receba sua pontuação final com uma revisão de erros para saber exatamente o que melhorar.
0/10respondidas
Pergunta 1Não respondida
A propriedade de Markov diz que o futuro depende de:
Resposta correta: A. O estado atual
Explicação: Dado o estado presente, o passado não acrescenta informação extra.
Pergunta 2Não respondida
Em uma matriz de transição de uma cadeia de Markov finita, cada linha normalmente soma:
Resposta correta: C. \(1\)
Explicação: As linhas listam as probabilidades de todos os próximos estados, então somam \(1\).
Pergunta 3Não respondida
As probabilidades de transição devem ser:
Resposta correta: B. Não negativas
Explicação: Probabilidades são não negativas e no máximo \(1\).
Pergunta 4Não respondida
Uma distribuição estacionária \(\pi\) satisfaz:
Resposta correta: D. \(\pi P=\pi\)
Explicação: Estacionária significa que uma transição deixa a distribuição inalterada.
Pergunta 5Não respondida
Um estado absorvente \(i\) tem probabilidade de transição \(P_{ii}\) igual a:
Resposta correta: B. \(1\)
Explicação: Depois de entrar em um estado absorvente, não se sai mais dele.
Pergunta 6Não respondida
Se \(P=\begin{pmatrix}1&0\\0&1\end{pmatrix}\), ambos os estados são:
Resposta correta: D. Absorventes
Explicação: Cada estado transita para si mesmo com probabilidade \(1\).
Pergunta 7Não respondida
Uma cadeia é irredutível quando:
Resposta correta: D. Todo estado pode alcançar qualquer outro estado
Explicação: Irredutível significa que todos os estados se comunicam entre si.
Pergunta 8Não respondida
Se a distribuição atual é \(p\), a próxima distribuição geralmente é:
Resposta correta: A. \(pP\)
Explicação: Pela convenção de vetor-linha, um passo atualiza multiplicando à direita por \(P\).
Pergunta 9Não respondida
Para \(P=\begin{pmatrix}1/2&1/2\\1/2&1/2\end{pmatrix}\), qual distribuição é estacionária?
Resposta correta: B. \((1/2,1/2)\)
Explicação: A distribuição uniforme permanece uniforme após a multiplicação por essa matriz.
Pergunta 10Não respondida
Em uma cadeia de Markov finita, uma distribuição de probabilidade deve ter entradas que somam:
Resposta correta: D. \(1\)
Explicação: Uma distribuição atribui probabilidade total \(1\) entre todos os estados.
