马尔可夫（再从伯努利过程到马尔可夫链）

以丢硬币为例。每丢一次硬币，便产生一个随机变量X，那么，我们一次又一次地丢下去，便产生出一系列的随机变量X1、X2……Xi……。一般而言，数学家们将一系列随机变量的集合，称之为“随机过程”。

（丢硬币。图片来自网络）

随机过程中的随机变量Xi，在上例中是第i次投丢硬币的结果，也可以理解为时间ti的“函数”，这也就是称其为“过程”的原因，时间离散的过程，有时也被称为“链”。

丢一次硬币产生一个取值为1或0的随机变量X，接连丢下去产生的（取值1或0）的一系列随机变量的集合，被称为伯努利过程。

伯努利过程也不仅仅用以描述抛硬币的随机过程，掷骰子也可包括在内，可推广到任何由互相独立的随机变量组成的集合，换言之，伯努利过程是一个离散时间，离散取值的随机过程。随机变量的样本空间只有两个取值：成功（1）、或失败（0），成功的概率为p。例如，掷一个6面对称的骰子，如果将“3”出现的概率定为成功的话，则多次掷骰子的结果是一个p=1/6的伯努利过程。

（伯努利。图片来自网络）

马尔可夫链

虽然多次抛硬币也构成随机过程（如上述的伯努利过程），但这种过程比较乏味，因为每次抛的结果都是互相独立的，且正反两面的概率永远是（50%，50%）。即使推广到掷骰子，每一个面出现的概率不是50%了，但仍然是一个固定的数值：1/6。并且，每一次的“抛硬币”或“掷骰子”都是各自独立互不依赖的，这种独立性是构成之前所介绍的“赌徒谬误”之所以是“谬误”的基础。

然而，事实上在自然界以及社会中存在的随机变量之间，往往存在着互相依赖的关系。比如说，考虑明天北京下雨或天晴的可能性，不一定是与抛硬币那样各一半的几率，并且一般来说还与北京今天、昨天、前天……或者好多天之前的气候状况有关。

图3-1-1：典型的马尔可夫过程（简单气象模型）

如果我们不考虑得太复杂，假设明天下雨概率只与今天天气有关的话，便可以用一个如图3-1-1a的简单图形来描述。图3-1-1中表示的气候模型只有简单的 “雨”和“晴” 两种状态，两态之间被数条带箭头的曲线连接。这些连线表示从今天的天气状态，如何预测明天的天气状态。

比如说，从图3-1-1a中的状态“雨”出发有两条连线：结束于状态“晴”的右边那一条标上了“0.6”，意思是说：“今天雨明天晴的概率是60%”；左边曲线绕了一圈又返回“雨”，标识0.4，即“明天继续下雨的概率是40%”。可以类似地理解从状态“晴”出发的两条曲线：如果今天晴那么明天有80%的可能性晴，20%的可能性下雨。随机过程中所有可能状态之集合（雨、晴）构成随机过程的“状态空间”。

上述例子是一个典型的最简单的马尔可夫链，以随机过程开创者，俄罗斯数学家安德烈·马尔可夫（Andreyevich Markov，1856年－1922年）得名。

（马尔可夫。图片来自网络）

马尔可夫链是具有马尔可夫性质的离散随机过程，序列参数和状态空间都是离散的。所谓马尔可夫性质，也被称为“无记忆性”或“无后效性”，即下一状态的概率分布只由当前状态决定，与过去的事件无关。

像前面所举气象的例子中，明天“晴”或“雨”的概率只与今天的状态有关，与昨天之前的气候历史无关。除了用图形来表示马尔可夫链之外，上述例子中明天和今天“雨晴”概率之关系也可以用图3-1-1b的矩阵P来描述，称之为转换矩阵。矩阵或图像中的几个数值，表示系统演化“一步”后，即今天到明天，状态之间的转移概率。当P表示转换矩阵时，状态便是一个矢量，比如说，图3-1-1b中，今天的状态被表示为一个分量为0.3和0.7的矢量，意思是说，今天下雨的概率为30%，天晴的概率为70%，明天的状态则由P乘以今天状态而得到。

图3-1-2：时齐马尔可夫链

转移概率不随时间而变化的马尔可夫过程叫做时齐（时间齐次）马尔可夫过程。比如说，如图3-1-2所示，假设北京每天天气的“晴雨”状态都由前一天的状态乘以同样的转换矩阵P而得到，那就是一个时齐马尔可夫链。通常考虑的马尔可夫过程，都被假定是“时齐”的。

极限概率分布（股票市场模型为例）

给定了系统的初始状态X0和转移矩阵P，便可以逐次求得马尔科夫链中之后每一个时刻的状态：X1、X2…Xi…。有时候，人们感兴趣于那种长时间后逐渐趋于稳定状态的马尔科夫过程。与级数序列逼近收敛到某个极限值类似，马尔科夫链最后也可能逼近某一个与初始状态无关的极限概率分布状态，称之稳态。下面以一个简单的股票市场马尔可夫模型为例解释这点。

假设一周内的股票市场只用简单的3种状态表示：牛市、熊市、停滞不前。其转移概率如图3-1-3所示。

图3-1-3：极限概率分布（股票市场例子）

当时间足够大的时候，这个马尔可夫链产生的一系列随机状态趋向一个极限向量，即图3-1-3中右下角所示的矢量。这个矢量Xlimit = [0.47, 0.3, 0.23]描述的状态是系统最后的稳态，是系统的极限，称为稳态分布向量。

在股票市场的例子中，存在稳态分布向量意味着：按照这个特例中的模型，长远的市场趋势趋于稳定，即任何一周的股票情况都是，47%的概率是牛市，30% 的概率是熊市，23% 的概率是停滞不前。

（摘自《从掷骰子到阿尔法狗：趣谈概率》，作者：张天蓉）