Random Walk in VAR
本文来源于网络，原英文作者是Tom Yeh，后来Liu Wei把原文翻译成中文，对隐式马尔可夫模型（HMM）进行了生动的描述。出处链接均已失效，故无法在本文提供最初的出处链接，谨对两位作者表示感谢。以下是Liu Wei的中文译文——
首先感谢原英文作者Tom Yeh在其主页的精彩描述，生动地讲述了HMM模型的原理，在此我斗胆用我自己的语言用中文修改描述一次。
男生和女生分别是来自不同星球的科学事实已经众所周知的了。男生们总是认为，女生们都是迷一样的生物，他们的情感状态浮动似乎是以秒单位在变化的，难以理解，更勿论预测了！而女生们觉得男生都是没有感觉动物，完全不能理解什么叫感受——尽管[......]
这是果壳网上的一篇转载文章[1]——
这是最后一只僵尸，他啃完南瓜后将开始进入大蒜阵。假设：僵尸啃大蒜后将等概率地到相邻两行（如果在第1或5行则只能进入2或4行），並且其在某一列啃满四次后，第五次在该列啃大蒜的时候将进入相邻行的下一列，到最后一列时会被车推死。问，该僵尸死于中间那辆车下的概率。
该贴中的“文艺算法”用到了马尔可夫模型，但列出的式子有点不规范，应该如下：
$$! \begin{array}{l} S &= \begin{bmatrix} 0 & 0 & 1 & 0 & 0 \end{bmatrix} \times \begin{bmatrix} 0 & 1 & 0 &[......]
连续抛掷一枚标准的骰子（即出现6种点数的概率一样，均为1/6）直至点数和超过12。则点数和最有可能是多少？例如，如果点数依次为3、6、1、5，则点数和为15。
解 一种解法是穷举所有点数系列，看看哪个点数和最有可能。但有另一种更巧妙的方法。假如点数系列之和为14，则最后一次抛骰子的点数不可能是1，否则点数和为13（已经超过12）而终止。对于产生14的所有点数系列，如果最后一次的点数均减少1，则可以产生13（因得到14的最后一次不能是1，所以得到14的最后一次骰子点数只能是2、3、4、5、6，那么若最后一次骰子点数改为1，2，3，4，5，这些点数系列之和就会得到13），因此，出现点数和为[......]
On the average, how many times must a die be thrown until one gets a 6?
这是《Fifty Challenging Problems in Probability with Solutions》书中的第4个题目[1]，书中给出了两种解法。
方法一：
设p为在一次掷骰子中得到6的概率（很明显，p=1/6），令q=1-p。则首次掷到6的概率分布为：
| 次数 | 概率 |
|---|---|
| 1 | p |
一个具有n个状态的马尔可夫链如果存在正整数N，使从任意状态i经过N次转移都能以大于零的概率到达状态j（i,j=1,2,...n），则称此马氏链为正则链（Regular Markov Chains）[1]。
正则链的判断方法：对于概率矩阵P，若其某幂次方Pm的所有元素皆为正数，则矩阵P称为正规概率矩阵，此时马氏链称为正则链，或者称马氏链具有遍历性（Ergodicity）[2]。
一个具有遍历性的马尔可夫链经过相当长的时间后，它处于各个状态的概率趋于稳定，且概率稳定值与初始状态无关。在工程技术中，当马尔可夫链的极限概率分布存在时，它的遍历性表示一个系统经过相当长时间后趋于平衡状态，这时[......]
在马尔可夫链中，称Pij=1的状态为吸收状态。如果一个马尔可夫链中至少包含一个吸收状态，并且从每一个非吸收状态出发，都可以到达某个吸收状态，那么这个马尔可夫链称为吸收马尔可夫链（Absorbing Markov Chains）[1]。
在上图的醉汉游走模型中，当醉汉处于位置1、2或者3时，他将会以等概率（1/2）向左或者向右走，他一直走，直到他到达位置0（他的家）或者位置4（酒吧）才停止游走。这模型的转移矩阵为：
含有r个吸收状态和t个非吸收状态的吸收链，其转移矩阵的标准形式为：
其中，I是一个r×r的单位矩阵，0是一个r×t的零矩阵，R是一个t×r的[......]
马尔可夫链（Markov Chains）[1]是具有马尔可夫性质的离散时间随机过程。该过程在给定当前知识或信息的情况下，只有当前的状态用来预测将来，过去（即当前以前的历史状态）对于预测将来（即当前以后的未来状态）是无关的，即t+1时刻系统状态的概率分布只与t时刻的状态有关，与t时刻以前的状态无关。在马尔可夫链的每一步，系统根据概率分布，可以从一个状态转移到另一个状态，也可以保持当前状态。
设马尔可夫链从状态Pi转移到Pj的转移概率为pij，则有一步转移概率矩阵：
$$! \begin{equation} P=P(1)=\left[ \begin{matrix} {{p}_{11}} &[......]
