マルコフ過程とは、
「次に起こる事象の確率が、現在の状態に至るまでの経過とは関係なく、現在の状態によってのみ決定される確率過程」のことです。
次に起こる事象の確率が、ただひとつの過程から決定される場合を特に単純マルコフ過程と呼びます。
例えば、下の表は、晴れの翌日の天気は40%の確率で晴れ、40%の確率でくもり、20%の確率で雨であることを示しています。この天気の移り変わりが単純マルコフ過程であると考えたときに、雨の日の2日後が晴れである確率は何%でしょうか？
| 翌日晴れ | 翌日くもり | 翌日雨 | |
|---|---|---|---|
| 晴れ | 40 | 40 | 20 |
| くもり | 30 | 40 | 30 |
| 雨 | 30 | 50 | 20 |
「雨→ 晴れ→ 晴れ」（0.3×0.4）、
「雨→ くもり→ 晴れ」（0.5×0.3）、
「雨→ 雨→ 晴れ」（0.2×0.3）
の3パターンが考えられます。加法定理より、それらを加えればよいのです。
よって、（雨の日の2日後が晴れである確率）0.12+0.15+0.06＝0.33＝33% と求められます。
【マルコフ過程】