转移矩阵描述了一个有限状态空间S上的马尔可夫链
如果在一个时间步长内从i到j移动的概率为${\displaystyle \operatorname {Pr} (j|i)=P_{i,j}}$ ，随机矩阵 P的第${\displaystyle i}$行，第$j$列元素由 ${\displaystyle P_{i,j}}$给出
设状态空间为$a_n$
转移概率$P_{ij}(n)=p\{X_{m+n} = a_j | X_m = a_i\}$称为马尔可夫链的n步转移概率，n=1时为一步转移概率，由一步转移概率得到的矩阵为一步转移概率矩阵
观察单位矩阵的幂次情况
显然单位矩阵无法收敛
$\begin{bmatrix}0.23 & 0.24 & 0.26&0.27 & \\0.25 & 0.25 & 0.25&0.25 \\0.21 & 0.22 & 0.28&0.29 \\ 0.2&0.3&0.23&0.27 \\\end{bmatrix}$
$\begin{bmatrix}0.7 & 0.1 & 0.1&0.1 & \\0.2 & 0.15 & 0.05&0.6 \\0& 0& 0.2&0.8 \\ 0.2&0.2&0.3&0.3 \\\end{bmatrix}$