微分熵

令${\displaystyle X}$ 为一连续型随机变数，其几率密度函数为${\displaystyle f_{X}(x)}$ ，其中${\displaystyle X}$ 的支撑集为${\displaystyle S=\{x\in X|f_{X}(x)>0}\}$ 。微分熵${\displaystyle h_{X}(x)}$ :

${\displaystyle h_{X}(x)=-\int _{S}f_{X}(x)log(f_{X}(x))dx}$ 。

与夏农熵为类比，计算夏农熵之算式中的${\displaystyle \log }$ 通常以2为底，而微分熵为计算方便，常以${\displaystyle ln}$ 计算后再转换为${\displaystyle log_{2}}$ 的结果。微分熵与夏农熵最大的不同点在于${\displaystyle f_{X}(x)}$ 可为大于1的数值，此时可能会造成${\displaystyle h_{X}(x)}$ 为负值，而夏农熵${\displaystyle H_{X}(x)}$ 恒不为负。

例如，${\displaystyle X}$ 为均匀分布${\displaystyle U(0,a),a<1}$ ：

${\displaystyle f_{X}(x)=}$ ${\displaystyle 1 \over a}$ ${\displaystyle ;h_{X}(x)=-\int \limits _{0}^{a}}$ ${\displaystyle 1 \over a}$ ${\displaystyle ln}$ ${\displaystyle 1 \over a}$ ${\displaystyle dx}$ 

${\displaystyle h_{X}(x)=ln(a)}$ ${\displaystyle <0}$ 

条件熵

${\displaystyle f(x,y)}$ 为${\displaystyle X,Y}$ 之联合几率密度函数，其条件熵为:

${\displaystyle h(X|Y)=-\int f(x,y)log{f(x|y)}dxdy}$ 。

相对熵

又称KL散度（Kullback–Leibler divergence)，两几率密度函数f、g的相对熵定义为:

${\displaystyle D(f||g)=\int flog{f \over g}}$ 。

互信息

两连续型随机变数的联合几率密度函数为${\displaystyle f(x,y)}$ ，其互信息:

${\displaystyle I(X;Y)=D(f(x,y)||f(x)f(y))}$ 

广义而言，我们可以将互信息定义在有限多个连续随机变数值域的划分。 可参考连续互信息的量化。

相对熵恒正

与夏农相对熵性质相同，恒正。

${\displaystyle -{\displaystyle D(f||g)=\int flog{g \over f}}}$ 

${\displaystyle \leq log\int f{g \over f}}$  (延森不等式)

${\displaystyle \leq 0}$ 。

链式法则

一次观测所有随机变数所测得的的联合熵，与个别接收随机变数后计算的条件熵总和相同，即观测顺序与间隔不影响微分熵。

${\displaystyle h(X_{1},X_{2},...,X_{n})=\sum _{k=1}^{n}h(X_{i}|X_{1},X_{2},...,X_{i-1})}$ 。

平移

随机变数的平移不影响微分熵，因为固定的平移不会增加随机变数的方差。

${\displaystyle h(X+c)=h(X)}$ 

缩放

将随机变数缩放会增加其方差，微分熵亦会随之增加。

${\displaystyle h(AX)=h(X)+log|det(A)|}$ 

上界

期望值为0，方差为${\displaystyle \sigma ^{2}}$ 且值域为${\displaystyle R}$ 之随机变数${\displaystyle X}$ 的微分熵，其上界为正态分布${\displaystyle N(0,\sigma ^{2})}$ 的微分熵。

${\displaystyle h(X)\leq {1 \over 2}log(2\pi e\sigma ^{2})}$ 

估计误差

随机变数${\displaystyle X}$ 与其估计子${\displaystyle {\widehat {X}}}$ 之均方误差存在下界，当${\displaystyle X}$ 为正态分布且${\displaystyle {\widehat {X}}}$ 为无偏估计子时，等号成立。

${\displaystyle E[(X-{\widehat {X}})^{2}]\geq {1 \over {2\pi e}}e^{2h(X)}}$ 

渐进等分性

离散随机变数的夏农熵中，独立同分布的随机变数序列，在渐进等分性(Asymptotic equipartition property)之下其几率质量函数${\displaystyle p(X_{1},X_{2},...,X_{n})}$ 趋近于${\displaystyle 2^{-nH(X)}}$ 。

连续型随机变数之渐进等分性：

${\displaystyle -{1 \over n}log(f(X_{1},X_{2},...,X_{n}))\rightarrow h(X)}$ 

典型集

典型集(Typical set)定义如下

${\displaystyle A_{\epsilon }^{(n)}=\{(x_{1},x_{2},...,x_{n})\in S^{n}:|-{1 \over n}logf(x_{1},x_{2},...,x_{n})-h(X)|\leq \epsilon }\}$ ,${\displaystyle \epsilon >0}$ 

体积

集合包含于${\displaystyle R^{n}}$ ,${\displaystyle A\subset R^{n}}$ ，其体积(Volume)${\displaystyle Vol(A)}$ 定义如下:

${\displaystyle Vol(A)=\int \limits _{A}dx_{1}dx_{2}...dx_{n}}$ 。

典型集${\displaystyle A_{\epsilon }^{(n)}}$ 的体积有以下性质:

1.${\displaystyle Vol(A_{\epsilon }^{(n)})\leq 2^{n(h(X)+\epsilon )}}$ 

2.${\displaystyle Vol(A_{\epsilon }^{(n)})\geq (1-\epsilon )2^{n(h(X)-\epsilon )}}$ 

证明

1.

由${\displaystyle -{1 \over n}log(f(X_{1},X_{2},...,X_{n}))\rightarrow h(X)}$ ，

可得：

${\displaystyle 1=\int _{S^{n}}f(x_{1},x_{2},...,x_{n})dx_{1}dx_{2}...dx_{n}}$ 

${\displaystyle \geq \int _{A_{\epsilon }^{(n)}}f(x_{1},x_{2},...,x_{n})dx_{1}dx_{2}...dx_{n}}$ 

${\displaystyle \geq \int _{A_{\epsilon }^{(n)}}2^{-n(h(X)+\epsilon )}dx_{1}dx_{2}...dx_{n}}$ 

${\displaystyle =2^{-n(h(X)+\epsilon )}\int _{A_{\epsilon }^{(n)}}dx_{1}dx_{2}...dx_{n}}$ 

${\displaystyle =2^{-n(h(X)+\epsilon )}Vol(A_{\epsilon }^{(n)})}$ 

2.

当n足够大时，${\displaystyle Pr(A_{\epsilon }^{(n)})>1-\epsilon }$ ，

因此：

${\displaystyle 1-\epsilon \leq \int _{A_{\epsilon }^{(n)}}f(x_{1},x_{2},...,x_{n})dx_{1}dx_{2}...dx_{n}}$ 

${\displaystyle \leq \int _{A_{\epsilon }^{(n)}}2^{-n(h(X)-\epsilon )}dx_{1}dx_{2}...dx_{n}}$ 

${\displaystyle =2^{-n(h(X)-\epsilon )}\int _{A_{\epsilon }^{(n)}}dx_{1}dx_{2}...dx_{n}}$ 

${\displaystyle =2^{-n(h(X)-\epsilon )}Vol(A_{\epsilon }^{(n)})}$ 

我们可以将几率密度函数量化后，以夏农熵来计算微分熵。首先将连续随机变数X以${\displaystyle \Delta }$ 分为数个区间，根据均值定理，${\displaystyle x_i}${\displaystyle x_{i}}  满足：

${\displaystyle f(x_{i})\Delta =\int _{i\Delta }^{(i+1)\Delta }f(x)dx=p_{i}}$ 

量化后的随机变数${\displaystyle X^{\Delta }}$ :

${\displaystyle X^{\Delta }=x_{i},i\Delta \leq X<(i+1)\Delta }$ 

夏农熵为:

${\displaystyle H(X^{\Delta })=-\sum _{-\infty }^{\infty }f(x_{i})\Delta log(f(x_{i}))-log\Delta }$ 

意即，当${\displaystyle \Delta \rightarrow 0}$ ，${\displaystyle h(f)=h(X)}$ 。

例子：

1.

对X做n位元量化${\displaystyle X\sim U(0,{1 \over 8})}$ 。

${\displaystyle H(X^{\Delta })=-3+n}$ 

上式表示，若我们想得到n位元精确度，则需要n-3个位元来表示。

2.

对X做n位元量化${\displaystyle X\sim N(0,{\sigma }^{2})}$ 。

${\displaystyle H(X^{\Delta })={1 \over 2}log(2\pi e\sigma ^{2})+n}$ 

上式表示，若我们想得到n位元精确度，需要${\displaystyle {1 \over 2}log(2\pi e\sigma ^{2})+n}$ 个位元来表示。

正态分布

随机变数${\displaystyle X}$ ，${\displaystyle X_{N}}$ 值域为${\displaystyle (-\infty ,\infty )}$ ，方差为${\displaystyle \sigma ^{2}}$ ，${\displaystyle X}$ 为任意分布，${\displaystyle X_{N}}$ 为正态分布，几率密度函数分别为${\displaystyle f(x),g(x)}$ 。

则${\displaystyle h_{X}(X)\leq {1 \over 2}log(2\pi e\sigma ^{2})}$ 

证明:

${\displaystyle {\begin{aligned}0&\leq D(f||g)\\&=\int f(x)log({f(x) \over {g(x)}})dx\\&=-h(X)-\int f(x)log(g(x))dx\\&=-h(X)+h(x)\end{aligned}}}$ 

其中，

${\displaystyle {\begin{aligned}-\int _{-\infty }^{\infty }f(x)log(g(x))dx&=-\int _{-\infty }^{\infty }f(x)({1 \over 2}log(2\pi \sigma ^{2})+{1 \over 2}({{x-\mu } \over \sigma })^{2})dx\\&={1 \over 2}log(2\pi e\sigma ^{2})\end{aligned}}}$ 

指数分布

随机变数${\displaystyle X}$ ，${\displaystyle Y}$ 值域为${\displaystyle (0,\infty )}$ ，期望值为${\displaystyle \lambda }$ ，${\displaystyle X}$ 为任意分布，${\displaystyle Y}$ 为指数分布，几率密度函数分别为${\displaystyle f(x),g(x)}$ 。

则${\displaystyle h_{X}(X)\leq 1+log\lambda }$ 。

证明:

${\displaystyle {\begin{aligned}0&\leq D(f||g)\\&=\int f(x)log({f(x) \over {g(x)}})dx\\&=-h(X)-\int f(x)log(g(x))dx\\&=-h(X)+h(Y)\end{aligned}}}$ 

其中，

${\displaystyle {\begin{aligned}-\int \limits _{0}^{\infty }f(x)log(g(x))dy&=-\int \limits _{0}^{\infty }f(x)(log\lambda +{x \over \lambda })dx\\&=1+log\lambda \end{aligned}}}$