Random Walk in VAR
本文来源于网络，原英文作者是Tom Yeh，后来Liu Wei把原文翻译成中文，对隐式马尔可夫模型（HMM）进行了生动的描述。出处链接均已失效，故无法在本文提供最初的出处链接，谨对两位作者表示感谢。以下是Liu Wei的中文译文——
首先感谢原英文作者Tom Yeh在其主页的精彩描述，生动地讲述了HMM模型的原理，在此我斗胆用我自己的语言用中文修改描述一次。
男生和女生分别是来自不同星球的科学事实已经众所周知的了。男生们总是认为，女生们都是迷一样的生物，他们的情感状态浮动似乎是以秒单位在变化的，难以理解，更勿论预测了！而女生们觉得男生都是没有感觉动物，完全不能理解什么叫感受——尽管[......]
[1]中第11章有个例子介绍了应用于遗传学的“Stepping Stone Model”（中文似乎翻译为踏脚石模型）。在该模型中，有N×N个小格子组成的方阵，初始时每个小格子从k种颜色中等概率地随机选择一种颜色。在每一次迭代中，这N×N个小格子中的一个被随机挑选到，它的颜色等概率地变为围绕它的8个小格子中的一个，为了避免边界问题，认为在方阵最左边上的小格子是与最右边的小格子相邻，最上边的小格子与最下边的小格子相邻。经过足够多次的迭代后，最终所有格子都会变成同一种颜色，而这k种颜色最后能胜出的概率等于初始时该颜色的小格子的数目占总数（N×N）的比例。
举一个简单的例子，当N=10，k=2（[......]
On the average, how many times must a die be thrown until one gets a 6?
这是《Fifty Challenging Problems in Probability with Solutions》书中的第4个题目[1]，书中给出了两种解法。
方法一：
设p为在一次掷骰子中得到6的概率（很明显，p=1/6），令q=1-p。则首次掷到6的概率分布为：
| 次数 | 概率 |
|---|---|
| 1 | p |
一个具有n个状态的马尔可夫链如果存在正整数N，使从任意状态i经过N次转移都能以大于零的概率到达状态j（i,j=1,2,...n），则称此马氏链为正则链（Regular Markov Chains）[1]。
正则链的判断方法：对于概率矩阵P，若其某幂次方Pm的所有元素皆为正数，则矩阵P称为正规概率矩阵，此时马氏链称为正则链，或者称马氏链具有遍历性（Ergodicity）[2]。
一个具有遍历性的马尔可夫链经过相当长的时间后，它处于各个状态的概率趋于稳定，且概率稳定值与初始状态无关。在工程技术中，当马尔可夫链的极限概率分布存在时，它的遍历性表示一个系统经过相当长时间后趋于平衡状态，这时[......]
在马尔可夫链中，称Pij=1的状态为吸收状态。如果一个马尔可夫链中至少包含一个吸收状态，并且从每一个非吸收状态出发，都可以到达某个吸收状态，那么这个马尔可夫链称为吸收马尔可夫链（Absorbing Markov Chains）[1]。
在上图的醉汉游走模型中，当醉汉处于位置1、2或者3时，他将会以等概率（1/2）向左或者向右走，他一直走，直到他到达位置0（他的家）或者位置4（酒吧）才停止游走。这模型的转移矩阵为：
含有r个吸收状态和t个非吸收状态的吸收链，其转移矩阵的标准形式为：
其中，I是一个r×r的单位矩阵，0是一个r×t的零矩阵，R是一个t×r的[......]
马尔可夫链（Markov Chains）[1]是具有马尔可夫性质的离散时间随机过程。该过程在给定当前知识或信息的情况下，只有当前的状态用来预测将来，过去（即当前以前的历史状态）对于预测将来（即当前以后的未来状态）是无关的，即t+1时刻系统状态的概率分布只与t时刻的状态有关，与t时刻以前的状态无关。在马尔可夫链的每一步，系统根据概率分布，可以从一个状态转移到另一个状态，也可以保持当前状态。
设马尔可夫链从状态Pi转移到Pj的转移概率为pij，则有一步转移概率矩阵：
$$! \begin{equation} P=P(1)=\left[ \begin{matrix} {{p}_{11}} &[......]