熵率

概率的数学理论中,非正式地说,一个随机过程熵率信源信息率是在一个随机过程的平均信息的时间密度。对于一个索引可数的随机过程,熵率 Η(X) 是 nXk 过程作为成员的联合熵,在 n 趋向无穷时的极限:

前提是该极限存在。另一种相关量为:

对于强平稳随机过程, 熵率可以被认为是随机信源的一般特性;这是渐近均分割性。

马尔可夫链的熵率

因为由不可约、非周期性、持久性的马尔可夫链定义的随机过程呈平稳分布,熵率与初始分布无关。

例如,对于在可数状态下定义的,转移矩阵Pij 的马尔可夫链 Yk,Η(Y) 由下式给出:

 

其中 μi 是该链的平稳分布

此定义的一个简单结果是,一个独立同分布的随机过程的熵率与该过程中的任何个别成员的相同。

参见

  • 信源(数学)
  • 马氏信源
  • 渐近均分割性

参考文献

  • Cover, T. and Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc., Archive.is存档,存档日期2012-12-16

外部链接