马尔可夫链模型简介

设考察对象为一系统,若该系统在某一时刻可能出现的事件集合为,E1,E2,EN,E1,E2,EN两两互斥,则陈Ei为状态。i1,2,N。称该系统从一种状态Ei变化到另一状态Ej的过程称为状态转移，并把整个系统不断实现状态转移的过程称为马尔可夫过程。 定义1 具有下列两个性质的马尔可夫过程称为马尔可夫链： （1）无后效性，即系统的第n次实验结果出现的状态，只与第n1次有关，而与它以前所处的状态无关；

（2）具有稳定性，该过程逐渐趋于稳定状态，而与初始状态无关。 定义2 向量u(u1,u2,,un) 成为概率向量，如果u满足：

uj0j1,2,,nn u1jj1定义3 如果方阵P的每行都为概率向量，则称此方阵为概率矩阵。 如果矩阵A和B皆为概率矩阵，则AB，Ak，Bk也都是概率矩阵（k为正整数）。

定义4 系统由状态Ei经过一次转移到状态Ej的概率记为Pij，称矩阵

P11P12P1NPPP21222N PPPPN3N1N2为一次（或一步）转移矩阵。

转移矩阵必为概率矩阵，且具有以下两个性质： 1、P(k)P(k1)P； 2、P(k)Pk

其中P(k)为k次转移矩阵。

定义5 对概率矩阵P，若幂次方P(m)的所有元素皆为正数，则矩阵P称为正规概率矩阵。（此处m2）

定理1 正规概率矩阵P的幂次方序列P，P2，P3 ，…趋近于某一方阵T，T的每一行均为同一概率向量t，且满足tPt 。 马尔可夫链模型如下：

(0)(0)设系统在k0时所处的初始状态 S(0)(S1(0),S2,SN)为已知，(k)(k)经过k次转移后的状态向量 S(k)(S1(k),S2,SN)(k1,2,)，则

S(k)P11P12P1NPPP21222N S(0)PPPN1N2NN此式即为马尔可夫链预测模型。

由上式可以看出，系统在经过k次转后所处的状态S(k)取决与它的初始状态S(0)和转移矩阵P。

马尔可夫引例

例1：市场占有率预测

设有甲、乙、丙三家企业，生产同一种产品，共同供应1000家用户，各用户在各企业间自由选购，但不超出这三家企业，也无新的用户，假定在10月末经过市场调查得知，甲，乙，丙三家企业拥有的客户分别是：250户，300户，450户，而11月份用户可能的流动情况如下表所示：

到 从 甲 乙 丙 甲 230 20 20 280 乙 10 250 10 270 丙 10 30 410 450 （10月） 250 300 450 1000 （11月） 假定该产品用户的流动按上述方向继续变化下去（转移矩阵不变），预测12月份三家企业市场用户各自的拥有量，并计算经过一段时间后，三家企业在稳定状态下该种产品的市场占有率。 解：第一步：根据调查资料，确定初始状态概率向量，这里 (0)(0)S(0)(S1(0),S2,S3)(250/1000,300/1000,450/1000)

(0.25,0.30.45)第二步：确定一次转移概率矩阵，此例有用户可能流动情况调查表可 知，其一次转移概率矩阵为：

甲 乙 丙

甲230/25010/25010/250P乙20/300250/30030/300丙30/45010/450410/450

0.920.040.040.0670.8330.10.0670.0220.911矩阵中每一行的元素，代表着各企业保持和失去用户的概率，如第一 行甲企业保持用户的概率是0.92,转移到乙,丙两次企业的概率都是0.04,甲企业失去用户的概率是

0.040.040.08

第三步：利用马尔可夫链进行预测.显然,12月份三家企业市场占有率为

2）(2)S(2)(S1(2),S（2,S3)S(0)P20.920.040.04

(0.25,0.30.45)0.0670.8330.10.0670.0220.911(0.306,0.246,0.448)212月份三个企业用户拥有量分别为:

甲：10000.306306户 乙：10000.246246户 丙：10000.448448户

现在,假定该产品用户的流动情况按上述方向继续变化下去,我们来求三个企业的该种产品市场占有的稳定状态概率. 易验证P为正规矩阵. 设t(x,y,1xy) 令tPt

0.920.040.04(x,y,1xy) (x,y,1xy)0.0670.8330.10.0670.0220.911将上式展开，得

0.92x0.067y0.067(1xy)x 0.04x0.833y0.022(1xy)y 0.04x0.1y0.911(1xy)1xy

解上述联立方程式，得

x0.4558，y0.1598

故(x,y,1xy)(0.4558,0.1598,0.3844)

上述结果表明:如果甲、乙、丙三企业的市场占有率照目前转移概率状态发展下去，那么经过一段时间后，三企业的市场占有率将分别为45.98%、15.98%、38.44%。显然，对于乙、丙两企业而言，必须迅速找出市场占有率下降的原因。 例二：最佳服务地点选择 市汽车出租公司在甲、乙、丙三处开设租车还车处，顾客可在甲、乙、丙三处任意租车和还车。今公司准备在上述三处之一设立汽车维修保养厂。初步确定在汽车比较多的一处设置维修保养场。根据统计资料。顾客在上述三处还车的概率如下表所示，试确定在何处设汽车维修保养场。 表 还车的概率 还车处 租车处 甲 乙 丙 甲 0.8 0.2 0.2 乙 0.2 0 0.2 丙 0 0.8 0.6 解:由题意可知,该问题的转移概率矩阵P为: 0.80.20 P0.200.80.20.20.6所以

0.680.160.16 P20.320.20.480.320.160.52因为P2都大于0，所以P为正规矩阵,当甲、乙、丙三处租车还车业务开展一定时期后,就会达到平衡条件,这样就可以得到一固定概率向量t,使tPt,即

0.80.20(x,y,1xy) (x,y,1xy)0.200.80.20.20.6成立，上式展开，得：

0.8x0.2y0.2(1xy)x 0.2x0.2y0.2(1xy)y 0.2x0.8y0.6(1xy)1xy

解上述联立方程式，得x0.5，y0.167 故(x,y,1xy)(0.5,0.167,0.333)

由上述计算可知,在稳定状态汽车还到甲处的概率为0.5.即向甲处还车的概率占出租车的一半,因此汽车维修保养场设在甲处是最佳的选择.