मार्कोव शृंखलाओं और यादृच्छिक प्रक्रियाओं की अभ्यास क्विज़, चरण-दर-चरण परस्पर-क्रियात्मक पाठ के साथ
नीचे दिए गए क्विज़ से मार्कोव शृंखलाओं और यादृच्छिक प्रक्रियाओं का अभ्यास करें: मार्कोव गुण, पंक्ति-प्रायिक संक्रमण आव्यूह, वितरण अद्यतन \(pP\), घातें \(P^n\), चैपमैन-कोल्मोगोरोव नियम, स्थिर वितरण \(\pi P=\pi\), अवशोषी अवस्थाएँ और बंद वर्ग, अविघट्यता, पुनरावृत्ति और क्षणिकता, आवर्त और अआवर्तिता, सीमित शृंखला का अभिसरण, मार्टिंगेल, उपमार्टिंगेल, अधिमार्टिंगेल, निस्यंदन और रुकने के समय। दोहराना हो तो आसान उदाहरणों और छोटी जाँचों के लिए पाठ खोलें।
प्रश्नों का सेट पूरा करें और अंत में अपनी गलतियां देखें।
मार्कोव शृंखलाओं और यादृच्छिक प्रक्रियाओं का यह अभ्यास कैसे काम करता है
1. क्विज़ हल करें: संक्रमण प्रायिकताओं, स्थिर वितरणों, पुनरावृत्ति, आवर्तिता, मार्टिंगेल और रुकने के समय पर प्रश्न हल करें।
2. पाठ खोलें: पंक्ति-प्रायिक आव्यूह, वर्ग-संरचना, दीर्घकालीन व्यवहार, अवशोषी शृंखलाएँ और सशर्त अपेक्षा के औज़ार दोहराएँ।
3. फिर से प्रयास करें: क्विज़ पर लौटें और तय करें कि आव्यूह की प्रविष्टि निकालनी है, \(\pi P=\pi\) हल करना है, अवस्था को वर्गीकृत करना है या सशर्त अपेक्षा जाँचनी है।
मार्कोव शृंखलाओं और यादृच्छिक प्रक्रियाओं के पाठ में आप क्या सीखेंगे
संक्रमण नियम और आव्यूह घातें
\(P_{ij}\) को अवस्था \(i\) से अवस्था \(j\) तक एक कदम में जाने की प्रायिकता के रूप में पढ़ें।
पंक्ति-सदिश वितरणों को \(p_{n+1}=p_nP\) और \(p_n=p_0P^n\) से अद्यतन करें।
चैपमैन-कोल्मोगोरोव का प्रयोग करें: \(P^{m+n}=P^mP^n\)।
स्थिर और दीर्घकालीन व्यवहार
\(\pi P=\pi\) को \(\sum_i\pi_i=1\) के साथ हल करें।
\(\pi\) को स्वमान \(1\) वाला वाम स्वसदिश पहचानें।
द्वि-प्रायिक शृंखलाओं में समान स्थिर वितरण और सीमित अविघट्य अआवर्ती शृंखलाओं में स्थिर-वितरण वाली पंक्तियाँ पहचानें।
सीमित शृंखलाओं की वर्ग-संरचना
संचारी वर्ग, बंद वर्ग और अवशोषी अवस्थाओं का वर्गीकरण करें।
सीमित शृंखलाओं में पुनरावर्ती अवस्थाओं और क्षणिक अवस्थाओं में अंतर करें।
संभव वापसी-समयों के महत्तम समापवर्तक से आवर्त निकालें।
प्रक्रियाएँ, मार्टिंगेल और रुकने के समय
निस्यंदन \(\mathcal F_n\) का उपयोग करके समय \(n\) तक ज्ञात सूचना दर्शाएँ।
\(E[X_{n+1}\mid\mathcal F_n]=X_n\) से मार्टिंगेल जाँचें।
पहचानें कि रुकने के समय अतीत और वर्तमान सूचना से तय होने चाहिए, अनदेखे भविष्य के आँकड़ों से नहीं।
उद्देश्य: सीमित मार्कोव शृंखलाओं और उनसे जुड़ी यादृच्छिक-प्रक्रिया अवधारणाओं के लिए भरोसेमंद औज़ार बनाना। आप संक्रमण आव्यूह पढ़ेंगे, कई-कदम प्रायिकताएँ निकालेंगे, स्थिर वितरण हल करेंगे, अवस्थाओं को वर्गीकृत करेंगे, आवर्ती व्यवहार पहचानेंगे, और सशर्त अपेक्षा को मार्टिंगेल तथा रुकने के समय से जोड़ेंगे।
सफलता के मानदंड
मार्कोव गुण बताइए: वर्तमान अवस्था पर शर्त लगाने के बाद भविष्य को पहले के अतीत की आवश्यकता नहीं रहती।
जाँचिए कि सीमित संक्रमण आव्यूह पंक्ति-प्रायिक है: प्रविष्टियाँ ऋणात्मक नहीं हैं और हर पंक्ति का योग \(1\) है।
पंक्ति-सदिश वितरणों को \(p_{n+1}=p_nP\) से अद्यतन करें और \(P^n_{ij}\) को \(n\)-कदम प्रायिकता के रूप में पढ़ें।
चैपमैन-कोल्मोगोरोव का उपयोग करें: \(P^{m+n}=P^mP^n\)।
स्थिर वितरणों के लिए \(\pi P=\pi\) को \(\sum_i\pi_i=1\) के साथ हल करें, जिनमें द्वि-प्रायिक शृंखलाओं के समान वितरण भी शामिल हैं।
अवशोषी अवस्थाओं, संचारी वर्गों, अविघट्यता, पुनरावृत्ति और क्षणिकता का वर्गीकरण करें।
वापसी-समयों से आवर्त निकालें और जानें कि स्व-लूप आवर्त \(1\) क्यों कर देता है।
सीमित अविघट्य अआवर्ती अभिसरण की तस्वीर बताइए।
अब तक उपलब्ध सूचना और सशर्त अपेक्षा से मार्टिंगेल, उपमार्टिंगेल, अधिमार्टिंगेल और रुकने के समय पहचानें।
मुख्य शब्दावली
यादृच्छिक प्रक्रिया: यादृच्छिक चरों का अनुक्रम, जैसे \(X_0,X_1,X_2,\dots\)।
मार्कोव शृंखला: ऐसी यादृच्छिक प्रक्रिया जिसकी अगली-अवस्था का नियम वर्तमान अवस्था पर निर्भर करता है, पूरे अतीत पर नहीं।
संक्रमण आव्यूह: \(P_{ij}=\Pr(X_{n+1}=j\mid X_n=i)\), जिसमें हर पंक्ति एक प्रायिकता वितरण है।
स्थिर वितरण: ऐसा वितरण \(\pi\) जिसके लिए \(\pi P=\pi\)।
संचारी वर्ग: वे अवस्थाएँ जो एक-दूसरे तक पहुँच सकती हैं।
आवर्त: किसी अवस्था तक लौटने के संभव समयों का महत्तम समापवर्तक।
मार्टिंगेल: ऐसी प्रक्रिया जिसमें \(E[X_{n+1}\mid\mathcal F_n]=X_n\)।
रुकने का समय: ऐसा यादृच्छिक समय जिसे उस समय तक उपलब्ध सूचना से तय किया जाता है।
त्वरित पूर्व-जाँच
पूर्व-जाँच: मार्कोव शृंखला में, वर्तमान अवस्था पर शर्त लगाने के बाद एक-कदम भविष्य किस पर निर्भर करता है?
संकेत: अतीत वर्तमान अवस्था के माध्यम से भविष्य को प्रभावित कर सकता है, लेकिन वर्तमान अवस्था ज्ञात होने पर पहले की अवस्थाएँ अगले-कदम नियम में अतिरिक्त सूचना नहीं जोड़तीं।
पंक्तियाँ एक-कदम प्रायिकताओं को कूटबद्ध करती हैं
सीखने का लक्ष्य: प्रायिकता की परिपाटी खोए बिना सीमित संक्रमण आव्यूह पढ़ना और एक-कदम या कई-कदम वितरण निकालना।
मुख्य विचार
पंक्ति-सदिश परिपाटी में, वर्तमान वितरण \(p_n\) इस तरह अद्यतन होता है: \(p_{n+1}=p_nP\)। प्रविष्टि \(P_{ij}\) अवस्था \(i\) से अवस्था \(j\) तक एक कदम में जाने की संभावना है।
आव्यूह नियम
हर प्रविष्टि \(0\le P_{ij}\le1\) संतुष्ट करती है।
हर पंक्ति का योग \(1\) है, क्योंकि अगली अवस्था कहीं न कहीं होनी चाहिए।
नियत चाल में एक पंक्ति-प्रविष्टि \(1\) और बाकी \(0\) होती हैं।
अवशोषी अवस्था \(i\) में \(P_{ii}=1\) होता है।
यदि \(p_0\) एक वितरण है, तो \(p_0P^n\), \(n\) कदमों के बाद का वितरण है।
यदि सभी पंक्तियाँ समान हैं, तो एक कदम हर आरंभिक वितरण को उसी साझा पंक्ति पर भेज देता है।
चैपमैन-कोल्मोगोरोव
कई-कदम संक्रमण संयोजित होते हैं: \[P^{m+n}=P^mP^n.\] प्रविष्टि-दर-प्रविष्टि, यह सभी संभव मध्य अवस्थाओं पर योग करता है।
हल किया हुआ उदाहरण
उदाहरण: मान लें \(P=\begin{pmatrix}1/2&1/2\\1/4&3/4\end{pmatrix}\) और \(p_0=(1,0)\)। \(p_1\) क्या है?
दाईं ओर गुणा करें: \[p_1=p_0P=(1,0)\begin{pmatrix}1/2&1/2\\1/4&3/4\end{pmatrix}=(1/2,1/2).\] अवस्था \(1\) से शुरू करने पर अगला वितरण बस पंक्ति \(1\) है, अर्थात \(P\) की वही पंक्ति।
स्वयं प्रयास करें
स्वयं प्रयास करें: संक्रमण आव्यूह में पंक्ति \((1/4,3/4)\) को कैसे वर्गीकृत करना चाहिए?
संकेत: ऋणात्मकता न होना और पंक्ति-योग जाँचें।
स्थिर वितरण एक कदम से नहीं बदलता
सीखने का लक्ष्य: सीमित शृंखलाओं के लिए स्थिर समीकरण पहचानना और हल करना।
मुख्य विचार
पंक्ति वितरण \(\pi\) तब स्थिर है जब \(\pi P=\pi\)। रैखिक बीजगणित की भाषा में, \(\pi\), \(P\) का स्वमान \(1\) वाला वाम स्वसदिश है, जिसे इस तरह सामान्यीकृत किया गया है कि इसकी प्रविष्टियाँ ऋणात्मक नहीं और उनका योग \(1\) हो।
हल करने की जाँच-सूची
\(\pi=(\pi_1,\dots,\pi_k)\) लिखें।
\(\pi P=\pi\) हल करें।
सामान्यीकरण \(\pi_1+\cdots+\pi_k=1\) जोड़ें।
जाँचें कि प्रविष्टियाँ ऋणात्मक नहीं हैं।
सीमित द्वि-प्रायिक आव्यूह समान वितरण को बचाए रखता है।
\(P=I\) के लिए, हर प्रायिकता वितरण स्थिर है।
विघट्य शृंखलाओं में स्थिर वितरण अद्वितीय न भी हो सकते हैं।
दो-अवस्था त्वरित विधि
\(P=\begin{pmatrix}1-a&a\\b&1-b\end{pmatrix}\) और धनात्मक \(a+b\) के लिए स्थिर वितरण \((b,a)\) के समानुपाती है, इसलिए \(\pi=\left(\frac{b}{a+b},\frac{a}{a+b}\right)\)।
हल किया हुआ उदाहरण
उदाहरण: \(P=\begin{pmatrix}1/2&1/2\\1/2&1/2\end{pmatrix}\) के लिए एक स्थिर वितरण निकालें।
दोनों पंक्तियाँ समान हैं। किसी भी वितरण को \(P\) से गुणा करने पर \((1/2,1/2)\) मिलता है, इसलिए \(\pi=(1/2,1/2)\) स्थिर है। यह साझा-पंक्ति त्वरित विधि है: समान पंक्तियाँ हर वर्तमान वितरण को उसी पंक्ति पर भेजती हैं।
स्वयं प्रयास करें
स्वयं प्रयास करें: \(\pi P=\pi\) का क्या अर्थ है?
संकेत: एक संक्रमण वितरण को ठीक वैसा ही छोड़ देता है।
पहुँच-योग्यता शृंखला की संरचना नियंत्रित करती है
सीखने का लक्ष्य: अवस्थाओं और संचारी वर्गों का वर्गीकरण करने के लिए ग्राफ पहुँच-योग्यता का उपयोग करना।
मुख्य विचार
कहें कि \(i\), \(j\) तक पहुँचता है यदि \((P^n)_{ij}>0\) किसी \(n\ge0\) के लिए हो। अवस्थाएँ तब संचार करती हैं जब प्रत्येक दूसरी तक पहुँचती है। अविघट्य सीमित शृंखला में एक ही संचारी वर्ग होता है।
वर्गीकरण की भाषा
बंद वर्ग: एक बार प्रवेश करने पर शृंखला उस वर्ग से बाहर नहीं जा सकती।
अवशोषी अवस्था: एक-अवस्था वाला बंद वर्ग, समतुल्य रूप से \(P_{ii}=1\)।
पुनरावर्ती अवस्था: जिस पर प्रायिकता \(1\) से वापस लौटा जाता है।
क्षणिक अवस्था: जिसे प्रायिकता \(1\) से केवल सीमित बार देखा जाता है।
अविघट्य शृंखला: हर अवस्था हर दूसरी अवस्था से संचार करती है।
सीमित शृंखलाओं के तथ्य
सीमित अविघट्य शृंखला में हर अवस्था पुनरावर्ती होती है। सीमित विघट्य शृंखला में बंद वर्गों के बाहर की अवस्थाएँ अक्सर क्षणिक होती हैं, क्योंकि प्रायिकता अंततः किसी बंद वर्ग में जाकर वहीं रह जाती है।
हल किया हुआ उदाहरण
उदाहरण: \(P=\begin{pmatrix}1&0\\1/2&1/2\end{pmatrix}\) के लिए कौन-सी अवस्था अवशोषी है?
अवस्था \(1\) अवशोषी है क्योंकि पंक्ति \(1\), \((1,0)\) है, इसलिए \(P_{11}=1\)। अवस्था \(2\), अवस्था \(1\) तक जा सकती है, लेकिन अवस्था \(1\), अवस्था \(2\) पर वापस नहीं जा सकती, इसलिए शृंखला अविघट्य नहीं है।
स्वयं प्रयास करें
स्वयं प्रयास करें: सीमित मार्कोव शृंखला के लिए अविघट्य का क्या अर्थ है?
संकेत: निर्देशित ग्राफ सोचें जिसमें \(i\to j\) तीर तब हो जब संक्रमण की प्रायिकता धनात्मक हो।
वापसी-समय का अंकगणित अआवर्तिता तय करता है
सीखने का लक्ष्य: सरल आवर्त निकालना और समझना कि अभिसरण के लिए अआवर्तिता क्यों महत्त्वपूर्ण है।
मुख्य विचार
अवस्था \(i\) का आवर्त उन सभी धनात्मक \(n\) का महत्तम समापवर्तक है जिनके लिए \((P^n)_{ii}>0\)। आवर्त \(1\) वाली अवस्था अआवर्ती है। अविघट्य शृंखला में सभी अवस्थाओं का आवर्त समान होता है।
अभिसरण की तस्वीर
यदि सीमित शृंखला अविघट्य और अआवर्ती है, तो उसका एक अद्वितीय स्थिर वितरण \(\pi\) होता है।
ऐसी शृंखला के लिए \(P^n\) उस आव्यूह की ओर अभिसरित होता है जिसकी सभी पंक्तियाँ \(\pi\) हैं।
यदि शृंखला आवर्ती है, तो स्थिर वितरण मौजूद हो सकता है जबकि \(P^n\) फिर भी दोलन करता रहे।
यदि शृंखला विघट्य है, तो सीमांत व्यवहार पहुँच सकने वाले बंद वर्गों पर निर्भर करता है।
स्व-लूप
स्व-लूप \(P_{ii}>0\) एक कदम में संभावित वापसी देता है, इसलिए वापसी-समयों के महत्तम समापवर्तक में \(1\) शामिल होता है। इससे आवर्त \(1\) हो जाता है।
हल किया हुआ उदाहरण
उदाहरण: \(P=\begin{pmatrix}0&1\\1&0\end{pmatrix}\) के लिए दो कदमों के बाद क्या होता है?
शृंखला हर कदम पर अवस्था बदलती है। इसलिए \(P^2=I\), वापसी सम समयों पर होती है, और हर अवस्था का आवर्त \(2\) है।
स्वयं प्रयास करें
स्वयं प्रयास करें: \(P=\begin{pmatrix}0&1\\1&0\end{pmatrix}\) वाली शृंखला का आवर्त क्या है?
संकेत: किसी अवस्था से शुरू करके उन समयों को गिनें जिन पर वापसी संभव है।
बंद अवस्थाएँ प्रायिकता प्रश्नों को समीकरणों में बदल देती हैं
सीखने का लक्ष्य: अवशोषी व्यवहार के लिए सरल पहुँच-प्रायिकता और पहुँच-समय समीकरण बनाना।
मुख्य विचार
अवशोषी अवस्था में प्रवेश करने के बाद शृंखला फँस जाती है। अधिक सामान्य रूप से, बंद संचारी वर्ग छोड़ा नहीं जा सकता। पहुँचने के प्रश्न पूछते हैं कि प्रक्रिया किसी चुने हुए समुच्चय में प्रवेश करती है या नहीं और कब।
पहुँचने के समीकरण
पहुँच प्रायिकता \(h_i\) के लिए, लक्ष्य पर सीमा-मान \(h_i=1\) और असंभव बंद वर्गों पर \(h_i=0\) लें।
अन्य अवस्थाओं के लिए \(h_i=\sum_j P_{ij}h_j\) का उपयोग करें।
अपेक्षित पहुँच समय \(t_i\) के लिए, लक्ष्य पर \(t_i=0\) और बाकी जगह \(t_i=1+\sum_jP_{ij}t_j\) लें।
सममिति या स्पष्ट अवशोषी अवस्थाओं से समीकरण छोटे रखें।
बंद वर्ग
अवशोषी वर्ग ऐसा संचारी वर्ग है जिसे छोड़ा नहीं जा सकता। एक अकेली अवशोषी अवस्था इस विचार का सबसे छोटा उदाहरण है।
हल किया हुआ उदाहरण
उदाहरण: \(P=\begin{pmatrix}1&0\\1/2&1/2\end{pmatrix}\) के लिए, अवस्था \(2\) से शुरू करने पर अवस्था \(1\) तक पहुँचने का अपेक्षित समय क्या है?
\(t_1=0\) मानें। अवस्था \(2\) से, \[t_2=1+\frac12t_1+\frac12t_2=1+\frac12t_2.\] इसलिए \(t_2=2\)।
स्वयं प्रयास करें
स्वयं प्रयास करें: यदि मार्कोव शृंखला अवशोषी अवस्था से शुरू होती है, तो एक कदम बाद वह कहाँ होती है?
संकेत: अवशोषी अवस्था में \(P_{ii}=1\) होता है।
सशर्त अपेक्षा निष्पक्ष बहाव को ट्रैक करती है
सीखने का लक्ष्य: मार्कोव-शृंखला की सहज समझ को यादृच्छिक प्रक्रियाओं, निस्यंदनों, मार्टिंगेलों और रुकने के समय की व्यापक भाषा से जोड़ना।
मुख्य विचार
यादृच्छिक प्रक्रिया यादृच्छिक चरों का कोई भी अनुक्रमित परिवार है। निस्यंदन \((\mathcal F_n)\) समय \(n\) तक उपलब्ध सूचना दर्ज करता है। मार्टिंगेल कथन इसी सूचना के सापेक्ष सशर्त अपेक्षाएँ हैं।
सशर्त-अपेक्षा शब्दकोश
मार्टिंगेल: \(E[X_{n+1}\mid\mathcal F_n]=X_n\)।
उपमार्टिंगेल: \(E[X_{n+1}\mid\mathcal F_n]\ge X_n\), इसलिए सशर्त बहाव अऋणात्मक है।
अधिमार्टिंगेल: \(E[X_{n+1}\mid\mathcal F_n]\le X_n\), इसलिए सशर्त बहाव अधनात्मक है।
ये सशर्त औसतों के बारे में कथन हैं, हर नमूना-पथ के बढ़ने या घटने के बारे में नहीं।
रुकने के समय
रुकने का समय \(\tau\) ऐसा होना चाहिए कि समय \(n\) तक उपलब्ध सूचना से यह तय किया जा सके कि \(\tau\le n\) है या नहीं। उदाहरण के लिए, किसी प्रक्रिया का पहली बार \(5\) पर पहुँचना रुकने का समय है; कल से पहले आखिरी बार \(5\) पर पहुँचना भविष्य की सूचना पर निर्भर करता है।
हल किया हुआ उदाहरण
उदाहरण: मान लें \(S_n\) एक निष्पक्ष यादृच्छिक चाल है जिसके स्वतंत्र कदम \(+1\) या \(-1\) हैं, प्रत्येक की प्रायिकता \(1/2\) है। \(S_n\) मार्टिंगेल क्यों है?
वर्तमान सूचना दिए जाने पर अगले कदम का सशर्त माध्य \(0\) है। इसलिए \(E[S_{n+1}\mid\mathcal F_n]=S_n+0=S_n\)।
स्वयं प्रयास करें
स्वयं प्रयास करें: मार्टिंगेल \(E[X_{n+1}\mid\mathcal F_n]=\) किसे संतुष्ट करता है?
संकेत: मार्टिंगेल में वर्तमान मान से सशर्त बहाव शून्य होता है।
अधिकांश गलतियाँ परिपाटियों को मिलाने या मान्यताओं को नज़रअंदाज़ करने से होती हैं
सीखने का लक्ष्य: संक्रमण-आव्यूह तथ्यों, दीर्घकालीन तथ्यों और सशर्त-अपेक्षा तथ्यों को अलग करके समाप्त करें।
सामान्य भूलें
पंक्ति बनाम स्तंभ परिपाटी: यह पाठ पंक्ति-वितरण \(pP\) का उपयोग करता है। स्तंभ-वितरणों के साथ सूत्र स्थानांतरित हो जाते हैं।
अमान्य आव्यूह पंक्तियाँ: प्रायिकताएँ ऋणात्मक नहीं होनी चाहिए और हर पंक्ति का योग \(1\) होना चाहिए।
स्थिर का अर्थ अवशोषी नहीं है: \(\pi P=\pi\) वितरण का वर्णन करता है, अनिवार्य रूप से किसी स्थिर अवस्था का नहीं।
विघट्य शृंखलाओं में कई स्थिर वितरण हो सकते हैं: बंद वर्ग अलग-अलग स्थिर द्रव्यमान को सहारा दे सकते हैं।
आवर्त अभिसरण रोक सकता है: दो-अवस्था परिवर्तन में स्थिर वितरण है, लेकिन \(P^n\) दोलन करता है।
स्व-लूप त्वरित विधि: \(P_{ii}>0\) उस पुनरावर्ती वर्ग के लिए आवर्त \(1\) देता है।
क्षणिकता अंततः वाली बात है: क्षणिक अवस्था कई बार देखी जा सकती है, पर प्रायिकता \(1\) से केवल सीमित बार।
रुकने के समय उपलब्ध सूचना का उपयोग करते हैं: वे अनदेखे भविष्य के परिणामों पर निर्भर नहीं हो सकते।
मार्टिंगेल का अर्थ निष्पक्ष सशर्त माध्य है: इसका अर्थ यह नहीं कि पथ स्थिर रहता है।
हल किया हुआ उदाहरण
उदाहरण: क्या पंक्ति \((1/4,1/4)\) पूरी संक्रमण-पंक्ति के रूप में मान्य है?
नहीं। यह अऋणात्मक है, लेकिन इसकी प्रविष्टियों का योग \(1/2\) है, \(1\) नहीं। पूरी संक्रमण-पंक्ति को सभी अगली अवस्थाओं पर कुल प्रायिकता \(1\) देनी चाहिए।
स्वयं प्रयास करें
स्वयं प्रयास करें: रुकने का समय किस पर निर्भर नहीं हो सकता?
संकेत: समय \(n\) पर निर्णय समय \(n\) तक उपलब्ध सूचना पर आधारित होना चाहिए।
अंतिम पुनरावलोकन
मार्कोव गुण: वर्तमान अवस्था ज्ञात होने पर अगली-अवस्था का नियम वर्तमान अवस्था पर निर्भर करता है।
संक्रमण आव्यूह की प्रविष्टियाँ अऋणात्मक होती हैं और पंक्तियों का योग \(1\) होता है।
पंक्ति-सदिशों के साथ \(p_n=p_0P^n\)।
चैपमैन-कोल्मोगोरोव: \(P^{m+n}=P^mP^n\)।
स्थिर वितरण \(\pi P=\pi\) और \(\sum_i\pi_i=1\) हल करते हैं।
समान पंक्तियाँ हर वर्तमान वितरण को साझा पंक्ति पर भेजती हैं; द्वि-प्रायिक सीमित शृंखलाएँ समान वितरण को बचाए रखती हैं; \(P=I\) हर वितरण को बचाए रखता है।
अवशोषी अवस्था में \(P_{ii}=1\) होता है; बंद वर्ग छोड़ा नहीं जा सकता।
अविघट्य का अर्थ है कि हर अवस्था हर दूसरी अवस्था तक पहुँच सकती है।
आवर्त संभव वापसी-समयों का महत्तम समापवर्तक है; स्व-लूप आवर्त \(1\) देता है।
सीमित अविघट्य अआवर्ती शृंखलाएँ स्थिर पंक्तियों की ओर अभिसरित होती हैं।
मार्टिंगेल \(E[X_{n+1}\mid\mathcal F_n]=X_n\) संतुष्ट करते हैं।
रुकने के समय अतीत और वर्तमान सूचना से तय होते हैं, अनदेखे भविष्य के आँकड़ों से नहीं।
अगला कदम: यह पाठ बंद करें और क्विज़ फिर से हल करें। हर प्रश्न के लिए पहले तय करें कि वह एक कदम, कई कदम, स्थिर वितरण, अवस्था-वर्गीकरण, आवर्त या सशर्त अपेक्षा के बारे में पूछ रहा है।
