全变差距离

设${\displaystyle {\mathcal {F}}}$ 是样本空间${\displaystyle \Omega }$ 的一个子集上的σ代数，两个概率测度${\displaystyle P}$ 与${\displaystyle Q}$ 在${\displaystyle {\mathcal {F}}}$ 上的全变差距离定义为^[1]

${\displaystyle \delta (P,Q)=\sup _{A\in {\mathcal {F}}}\left|P(A)-Q(A)\right|.}$ 

粗略地说，这是两个概率分布在同一事件上取值的最大差值。

与其他距离的关系

全变差距离通过Pinsker不等式与Kullback-Leibler散度相联系：

${\displaystyle \delta (P,Q)\leq {\sqrt {{\frac {1}{2}}D_{\mathrm {KL} }(P\parallel Q)}}.}$ 

当样本空间${\displaystyle \Omega }$ 是可数集的时候，全变差距离与${\displaystyle L^{1}}$ 范数有等式关系^[2]：

${\displaystyle \delta (P,Q)={\frac {1}{2}}\|P-Q\|_{1}={\frac {1}{2}}\sum _{\omega \in \Omega }|P(\omega )-Q(\omega )|.}$ 

• 全变差
• 柯尔莫哥洛夫-斯米尔诺夫检验