पंक्तियाँ एक-कदम प्रायिकताओं को कूटबद्ध करती हैं

मुख्य विचार

पंक्ति-सदिश परिपाटी में, वर्तमान वितरण \(p_n\) इस तरह अद्यतन होता है: \(p_{n+1}=p_nP\)। प्रविष्टि \(P_{ij}\) अवस्था \(i\) से अवस्था \(j\) तक एक कदम में जाने की संभावना है।

आव्यूह नियम

• हर प्रविष्टि \(0\le P_{ij}\le1\) संतुष्ट करती है।
• हर पंक्ति का योग \(1\) है, क्योंकि अगली अवस्था कहीं न कहीं होनी चाहिए।
• नियत चाल में एक पंक्ति-प्रविष्टि \(1\) और बाकी \(0\) होती हैं।
• अवशोषी अवस्था \(i\) में \(P_{ii}=1\) होता है।
• यदि \(p_0\) एक वितरण है, तो \(p_0P^n\), \(n\) कदमों के बाद का वितरण है।
• यदि सभी पंक्तियाँ समान हैं, तो एक कदम हर आरंभिक वितरण को उसी साझा पंक्ति पर भेज देता है।

चैपमैन-कोल्मोगोरोव

कई-कदम संक्रमण संयोजित होते हैं: \[P^{m+n}=P^mP^n.\] प्रविष्टि-दर-प्रविष्टि, यह सभी संभव मध्य अवस्थाओं पर योग करता है।

हल किया हुआ उदाहरण

स्वयं प्रयास करें

स्थिर वितरण एक कदम से नहीं बदलता

मुख्य विचार

पंक्ति वितरण \(\pi\) तब स्थिर है जब \(\pi P=\pi\)। रैखिक बीजगणित की भाषा में, \(\pi\), \(P\) का स्वमान \(1\) वाला वाम स्वसदिश है, जिसे इस तरह सामान्यीकृत किया गया है कि इसकी प्रविष्टियाँ ऋणात्मक नहीं और उनका योग \(1\) हो।

हल करने की जाँच-सूची

• \(\pi=(\pi_1,\dots,\pi_k)\) लिखें।
• \(\pi P=\pi\) हल करें।
• सामान्यीकरण \(\pi_1+\cdots+\pi_k=1\) जोड़ें।
• जाँचें कि प्रविष्टियाँ ऋणात्मक नहीं हैं।
• सीमित द्वि-प्रायिक आव्यूह समान वितरण को बचाए रखता है।
• \(P=I\) के लिए, हर प्रायिकता वितरण स्थिर है।
• विघट्य शृंखलाओं में स्थिर वितरण अद्वितीय न भी हो सकते हैं।

दो-अवस्था त्वरित विधि

\(P=\begin{pmatrix}1-a&a\\b&1-b\end{pmatrix}\) और धनात्मक \(a+b\) के लिए स्थिर वितरण \((b,a)\) के समानुपाती है, इसलिए \(\pi=\left(\frac{b}{a+b},\frac{a}{a+b}\right)\)।

हल किया हुआ उदाहरण

स्वयं प्रयास करें

पहुँच-योग्यता शृंखला की संरचना नियंत्रित करती है

मुख्य विचार

कहें कि \(i\), \(j\) तक पहुँचता है यदि \((P^n)_{ij}>0\) किसी \(n\ge0\) के लिए हो। अवस्थाएँ तब संचार करती हैं जब प्रत्येक दूसरी तक पहुँचती है। अविघट्य सीमित शृंखला में एक ही संचारी वर्ग होता है।

वर्गीकरण की भाषा

• बंद वर्ग: एक बार प्रवेश करने पर शृंखला उस वर्ग से बाहर नहीं जा सकती।
• अवशोषी अवस्था: एक-अवस्था वाला बंद वर्ग, समतुल्य रूप से \(P_{ii}=1\)।
• पुनरावर्ती अवस्था: जिस पर प्रायिकता \(1\) से वापस लौटा जाता है।
• क्षणिक अवस्था: जिसे प्रायिकता \(1\) से केवल सीमित बार देखा जाता है।
• अविघट्य शृंखला: हर अवस्था हर दूसरी अवस्था से संचार करती है।

सीमित शृंखलाओं के तथ्य

सीमित अविघट्य शृंखला में हर अवस्था पुनरावर्ती होती है। सीमित विघट्य शृंखला में बंद वर्गों के बाहर की अवस्थाएँ अक्सर क्षणिक होती हैं, क्योंकि प्रायिकता अंततः किसी बंद वर्ग में जाकर वहीं रह जाती है।

हल किया हुआ उदाहरण

स्वयं प्रयास करें

वापसी-समय का अंकगणित अआवर्तिता तय करता है

मुख्य विचार

अवस्था \(i\) का आवर्त उन सभी धनात्मक \(n\) का महत्तम समापवर्तक है जिनके लिए \((P^n)_{ii}>0\)। आवर्त \(1\) वाली अवस्था अआवर्ती है। अविघट्य शृंखला में सभी अवस्थाओं का आवर्त समान होता है।

अभिसरण की तस्वीर

• यदि सीमित शृंखला अविघट्य और अआवर्ती है, तो उसका एक अद्वितीय स्थिर वितरण \(\pi\) होता है।
• ऐसी शृंखला के लिए \(P^n\) उस आव्यूह की ओर अभिसरित होता है जिसकी सभी पंक्तियाँ \(\pi\) हैं।
• यदि शृंखला आवर्ती है, तो स्थिर वितरण मौजूद हो सकता है जबकि \(P^n\) फिर भी दोलन करता रहे।
• यदि शृंखला विघट्य है, तो सीमांत व्यवहार पहुँच सकने वाले बंद वर्गों पर निर्भर करता है।

स्व-लूप

स्व-लूप \(P_{ii}>0\) एक कदम में संभावित वापसी देता है, इसलिए वापसी-समयों के महत्तम समापवर्तक में \(1\) शामिल होता है। इससे आवर्त \(1\) हो जाता है।

हल किया हुआ उदाहरण

स्वयं प्रयास करें

बंद अवस्थाएँ प्रायिकता प्रश्नों को समीकरणों में बदल देती हैं

मुख्य विचार

अवशोषी अवस्था में प्रवेश करने के बाद शृंखला फँस जाती है। अधिक सामान्य रूप से, बंद संचारी वर्ग छोड़ा नहीं जा सकता। पहुँचने के प्रश्न पूछते हैं कि प्रक्रिया किसी चुने हुए समुच्चय में प्रवेश करती है या नहीं और कब।

पहुँचने के समीकरण

• पहुँच प्रायिकता \(h_i\) के लिए, लक्ष्य पर सीमा-मान \(h_i=1\) और असंभव बंद वर्गों पर \(h_i=0\) लें।
• अन्य अवस्थाओं के लिए \(h_i=\sum_j P_{ij}h_j\) का उपयोग करें।
• अपेक्षित पहुँच समय \(t_i\) के लिए, लक्ष्य पर \(t_i=0\) और बाकी जगह \(t_i=1+\sum_jP_{ij}t_j\) लें।
• सममिति या स्पष्ट अवशोषी अवस्थाओं से समीकरण छोटे रखें।

बंद वर्ग

अवशोषी वर्ग ऐसा संचारी वर्ग है जिसे छोड़ा नहीं जा सकता। एक अकेली अवशोषी अवस्था इस विचार का सबसे छोटा उदाहरण है।

हल किया हुआ उदाहरण

स्वयं प्रयास करें

सशर्त अपेक्षा निष्पक्ष बहाव को ट्रैक करती है

मुख्य विचार

यादृच्छिक प्रक्रिया यादृच्छिक चरों का कोई भी अनुक्रमित परिवार है। निस्यंदन \((\mathcal F_n)\) समय \(n\) तक उपलब्ध सूचना दर्ज करता है। मार्टिंगेल कथन इसी सूचना के सापेक्ष सशर्त अपेक्षाएँ हैं।

सशर्त-अपेक्षा शब्दकोश

• मार्टिंगेल: \(E[X_{n+1}\mid\mathcal F_n]=X_n\)।
• उपमार्टिंगेल: \(E[X_{n+1}\mid\mathcal F_n]\ge X_n\), इसलिए सशर्त बहाव अऋणात्मक है।
• अधिमार्टिंगेल: \(E[X_{n+1}\mid\mathcal F_n]\le X_n\), इसलिए सशर्त बहाव अधनात्मक है।
• ये सशर्त औसतों के बारे में कथन हैं, हर नमूना-पथ के बढ़ने या घटने के बारे में नहीं।

रुकने के समय

रुकने का समय \(\tau\) ऐसा होना चाहिए कि समय \(n\) तक उपलब्ध सूचना से यह तय किया जा सके कि \(\tau\le n\) है या नहीं। उदाहरण के लिए, किसी प्रक्रिया का पहली बार \(5\) पर पहुँचना रुकने का समय है; कल से पहले आखिरी बार \(5\) पर पहुँचना भविष्य की सूचना पर निर्भर करता है।

हल किया हुआ उदाहरण

स्वयं प्रयास करें

अधिकांश गलतियाँ परिपाटियों को मिलाने या मान्यताओं को नज़रअंदाज़ करने से होती हैं

सामान्य भूलें

• पंक्ति बनाम स्तंभ परिपाटी: यह पाठ पंक्ति-वितरण \(pP\) का उपयोग करता है। स्तंभ-वितरणों के साथ सूत्र स्थानांतरित हो जाते हैं।
• अमान्य आव्यूह पंक्तियाँ: प्रायिकताएँ ऋणात्मक नहीं होनी चाहिए और हर पंक्ति का योग \(1\) होना चाहिए।
• स्थिर का अर्थ अवशोषी नहीं है: \(\pi P=\pi\) वितरण का वर्णन करता है, अनिवार्य रूप से किसी स्थिर अवस्था का नहीं।
• विघट्य शृंखलाओं में कई स्थिर वितरण हो सकते हैं: बंद वर्ग अलग-अलग स्थिर द्रव्यमान को सहारा दे सकते हैं।
• आवर्त अभिसरण रोक सकता है: दो-अवस्था परिवर्तन में स्थिर वितरण है, लेकिन \(P^n\) दोलन करता है।
• स्व-लूप त्वरित विधि: \(P_{ii}>0\) उस पुनरावर्ती वर्ग के लिए आवर्त \(1\) देता है।
• क्षणिकता अंततः वाली बात है: क्षणिक अवस्था कई बार देखी जा सकती है, पर प्रायिकता \(1\) से केवल सीमित बार।
• रुकने के समय उपलब्ध सूचना का उपयोग करते हैं: वे अनदेखे भविष्य के परिणामों पर निर्भर नहीं हो सकते।
• मार्टिंगेल का अर्थ निष्पक्ष सशर्त माध्य है: इसका अर्थ यह नहीं कि पथ स्थिर रहता है।

हल किया हुआ उदाहरण

स्वयं प्रयास करें

अंतिम पुनरावलोकन

• मार्कोव गुण: वर्तमान अवस्था ज्ञात होने पर अगली-अवस्था का नियम वर्तमान अवस्था पर निर्भर करता है।
• संक्रमण आव्यूह की प्रविष्टियाँ अऋणात्मक होती हैं और पंक्तियों का योग \(1\) होता है।
• पंक्ति-सदिशों के साथ \(p_n=p_0P^n\)।
• चैपमैन-कोल्मोगोरोव: \(P^{m+n}=P^mP^n\)।
• स्थिर वितरण \(\pi P=\pi\) और \(\sum_i\pi_i=1\) हल करते हैं।
• समान पंक्तियाँ हर वर्तमान वितरण को साझा पंक्ति पर भेजती हैं; द्वि-प्रायिक सीमित शृंखलाएँ समान वितरण को बचाए रखती हैं; \(P=I\) हर वितरण को बचाए रखता है।
• अवशोषी अवस्था में \(P_{ii}=1\) होता है; बंद वर्ग छोड़ा नहीं जा सकता।
• अविघट्य का अर्थ है कि हर अवस्था हर दूसरी अवस्था तक पहुँच सकती है।
• आवर्त संभव वापसी-समयों का महत्तम समापवर्तक है; स्व-लूप आवर्त \(1\) देता है।
• सीमित अविघट्य अआवर्ती शृंखलाएँ स्थिर पंक्तियों की ओर अभिसरित होती हैं।
• मार्टिंगेल \(E[X_{n+1}\mid\mathcal F_n]=X_n\) संतुष्ट करते हैं।
• रुकने के समय अतीत और वर्तमान सूचना से तय होते हैं, अनदेखे भविष्य के आँकड़ों से नहीं।