בדוגמא 9 שה ובאה לעיל , שבה חישבנו את מטריצת הסתברויות המעבר ב 12 - צעדים , p ^ נשים לב כי בכל שלושת העמודות מופיעות הסתברויות כמעט זהות . עובדה זו מביאה אותנו למסקנה שההסתברות להימצא במצב j מסויים , לאחר 12 צעדים , בלתי תלויה בהסתברויות המצב ההתחלתיות . נעמוד בפרק זה על תכונות מטריצת הסתברויות המעבר לאחר מספר מספיק גדול של צעדים . הגדרה : פונקצית התפלגות ( j - 0 , 1 , 2 ,... ) ק . תיקרא סטציונרית באם קיים J באם פונקצית ההתפלגות , , ( נ - 0 , 1 , 2 ,... ) ק . של המצב ההתחלתי J הנה סטציונרית , אזי : דהיינו : באם פונקצית ההתפלגות של המצב ההתחלתי היא סטציונרית , אזי אזי XX יהיה יהיה בעל בעל אותה אותה התפלגות לכל ח . דהיינו , = 0 , 1 ,... ) ^ ת ) n n ח יהיה תהליך סטציונרי . ש רשרת מרקוב בלתי פריקה ובלתי תקופתית שייכת לאחת משתי המחלקות הבא ות : ) א ) או שכל מצבי השרשרת חולפים , או שהם חוזרים אפסיים , ובמקרה זה 0 * p . כאשר °° + וו , לכל , j - ו i ולכן לא קיימת התפלגות סטציונרית .
אל הספר