马尔柯夫链模型
定义 马尔可夫链是随机变量X1,X2,X3...的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而Xn的值则是在时间n的状态。如果Xn + 1对于过去状态的条件概率分布仅是Xn的一个函数，则
这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。
性质1、可还原性马尔可夫链是由一个条件分布来表示的
这被称为是随机过程中的“转移概率”。这有时也被称作是“一步转移概率”。二、三，以及更多步的转移概率可以导自一步转移概率和马尔可夫性质：
同样，
这些式子可以通过乘以转移概率并求k − 1次积分来一般化到任意的将来时间n + k。2、 周期性边际分布 P(Xn)是在时间为n时的状态的分布。初始分布为P(X0)。该过程的变化可以用以下的一个时间步幅来描述：
这是Frobenius-Perron equation的一个版本。这时可能存在一个或多个状态分布π满足
其中Y只是为了便于对变量积分的一个名义。这样的分布π被称作是“平稳分布”（Stationary Distribution）或者“稳态分布”（Steady-state Distribution）。一个平稳分布是一个对应于特征值为1的条件分布函数的特征方程。
平稳分布是否存在，以及如果存在是否唯一，这是由过程的特定性质决定的。“不可约”是指每一个状态都可来自任意的其它状态。当存在至少一个状态经过一个固定的时间段后连续返回，则这个过程被称为是“周期的”。3、 重现性4、各态历遍性5、律动性6、平稳状态分析和极限分布
（1） 可反转马尔可夫链可反转马尔可夫链类似于应用贝叶斯定理来反转一个条件概率:
以上就是反转的马尔可夫链。因而，如果存在一个π，使得:
那么这个马尔可夫链就是可反转的。
这个条件也被称为细致平衡 (detailed balance)条件。
对于所有的i求和:
所以，对于可反转马尔可夫链，π总是一个平稳分布。
（2）有限状态空间中的马尔可夫链如果状态空间是有限的，则转移概率分布可以表示为一个具有(i,j)元素的矩阵，称之为“转移矩阵”：
对于一个离散状态空间，k步转移概率的积分即为求和，可以对转移矩阵求k次幂来求得。就是说，如果是一步转移矩阵，就是k步转移后的转移矩阵。
平稳分布是一个满足以下方程的向量
. 在此情况下，稳态分布π * 是一个对应于特征根为1的、该转移矩阵的特征向量。
如果转移矩阵不可约，并且是非周期的，则收敛到一个每一列都是不同的平稳分布 π * ，并且，
, 独立于初始分布π。这是由Perron-Frobenius theorem所指出的。
正的转移矩阵（即矩阵的每一个元素都是正的）是不可约和非周期的。矩阵被称为是一个随机矩阵，当且仅当这是某个马尔可夫链中转移概率的矩阵。
注意：在上面的定式化中，元素(i,j)是由j转移到i的概率。有时候一个由元素(i,j)给出的等价的定式化等于由i转移到j的概率。在此情况下，转移矩阵仅是这里所给出的转移矩阵的转置。另外，一个系统的平稳分布是由该转移矩阵的左特征向量给出的，而不是右特征向量。
转移概率独立于过去的特殊况为熟知的Bernoulli scheme。仅有两个可能状态的Bernoulli scheme被熟知为伯努利过程
应用科学应用1、物理
马尔可夫链通常用来建模排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算术编码（著名的LZMA数据压缩算法就使用了马尔可夫链与类似于算术编码的区间编码）。马尔可夫链也有众多的生物学应用，特别是人口过程，可以帮助模拟生物人口过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。
马尔可夫链最近的应用是在地理统计学（geostatistics）中。其中，马尔可夫链用在基于观察数据的二到三维离散变量的随机模拟。这一应用类似于“克里金”地理统计学（Kriging geostatistics），被称为是“马尔可夫链地理统计学”。这一马尔可夫链地理统计学方法仍在发展过程中。
2、因特网应用
马尔可夫过程，能为给定样品文本，生成粗略，但看似真实的文本：他们被用于众多供消遣的“模仿生成器”软件。马尔可夫链还被用于谱曲。人力资源应用马尔可夫链模型主要是分析一个人在某一阶段内由一个职位调到另一个职位的可能性，即调动的概率。该模型的一个基本假设就是，过去的内部人事变动的模式和概率与未来的趋势大体相一致。实际上，这种方法是要分析企业内部人力资源的流动趋势和概率，如升迁、转职、调配或离职等方面的情况，以便为内部的人力资源的调配提供依据。
它的基本思想是：通过发现过去组织人事变动的规律，以推测组织在未来人员的供给情况。马尔可夫链模型通常是分几个时期收集数据，然后再得出平均值，用这些数据代表每一种职位中人员变动的频率，就可以推测出人员变动情况。
具体做法是：将计划初期每一种工作的人数量与每一种工作的人员变动概率相乘，然后纵向相加，即得到组织内部未来劳动力的净供给量。其基本表达式为：
基本表达式
Ni(t)：t时间内I类人员数量；
Pji：人员从j类向I类转移的转移率；
Vi(t)：在时间（t-1,t）I类所补充的人员数。
企业人员的变动有调出、调入、平调、晋升与降级五种。表3 假设一家零售公司在1999至2000年间各类人员的变动情况。年初商店经理有12人，在当年期间平均90％的商店经理仍在商店内，10％的商店经理离职，期初36位经理助理有 11％晋升到经理，83％留在原来的职务，6％离职；如果人员的变动频率是相对稳定的，那么在2000年留在经理职位上有11人（12×90％），另外，经理助理中有4人（36×83％）晋升到经理职位，最后经理的总数是15人（11＋4）。可以根据这一矩阵得到其他人员的供给情况，也可以计算出其后各个时期的预测结果。假设的零售公司的马尔可夫分析，见下表：
商店经理
(n=12)
90%
11
10%
1
经理助理
(n=36)
11%
4
83%
30
6%
2
区域经理
(n=96)
11%
11
66%
63
8%
8
15%
14
部门经理
(=288)
10%
29
72%
207
2%
6
16%
46
销售员
(=1440)
6%
86
74%
1066
25%
228
供给预测
15
41
92
301
1072
351