后验概率

后验概率是在给定证据${\displaystyle X}$ 后，参数${\displaystyle \theta }$ 的概率：${\displaystyle p(\theta |X)}$ 。

与似然函数相对，其为在给定了参数${\displaystyle \theta }$ 后，证据${\displaystyle X}$ 的概率：${\displaystyle p(X|\theta )}$ 。

两者有以下联系：

首先定义先验概率服从以下概率分布函数，${\displaystyle p(\theta )}$ ，则样本${\displaystyle x}$ 的似然性为${\displaystyle p(x|\theta )}$ ，那么后验概率可以定义为

${\displaystyle p(\theta |x)={\frac {p(x|\theta )p(\theta )}{p(x)}}}$ ^[1]

此处${\displaystyle p(x)}$ 为标准化常量，对于连续的${\displaystyle \theta }$ ，按如下方法计算

${\displaystyle p(x)=\int p(x|\theta )p(\theta )d\theta }$ 

对于离散的${\displaystyle \theta }$ ，应对所有可能的${\displaystyle \theta }$ 取值求和${\displaystyle p(x|\theta )p(\theta )}$  。

因此，后验概率与似然性和先验概率的乘积是成比例的。

假设一个学校里有60％男生和40%女生。女生穿裤子的人数和穿裙子的人数相等，所有男生穿裤子。一个人在远处随机看到了一个穿裤子的学生。那么这个学生是女生的概率是多少？

使用贝叶斯定理，事件A是看到女生，事件B是看到一个穿裤子的学生。我们所要计算的是P(A|B)。

P(A)是忽略其它因素，看到女生的概率，在这里是40%

P(A')是忽略其它因素，看到不是女生（即看到男生）的概率，在这里是60%

P(B|A)是女生穿裤子的概率，在这里是50%

P(B|A')是男生穿裤子的概率，在这里是100%

P(B)是忽略其它因素，学生穿裤子的概率，P(B) = P(B|A)P(A) + P(B|A')P(A')，在这里是0.5×0.4 + 1×0.6 = 0.8.

根据贝叶斯定理，我们计算出后验概率P(A|B)

${\displaystyle P(A|B)={\frac {P(B|A)P(A)}{P(B)}}={\frac {0.5\times 0.4}{0.8}}=0.25}$ 。

可见，后验概率实际上就是条件概率。

根据贝叶斯定理，一个随机变量在给定另一随机变量值之后的后验概率分布可以通过先验概率分布与似然函数相乘并除以归一化常数求得

${\displaystyle f_{X\mid Y=y}(x)={f_{X}(x)L_{X\mid Y=y}(x) \over {\int _{-\infty }^{\infty }f_{X}(u)L_{X\mid Y=y}(u)\,du}}}$ 

上式为给出了随机变量${\displaystyle X}$ 在给定数据${\displaystyle Y=y}$ 后的后验概率分布函数，式中

• ${\displaystyle f_{X}(x)}$ 为${\displaystyle X}$ 的先验密度函数，
• ${\displaystyle L_{X\mid Y=y}(x)=f_{Y\mid X=x}(y)}$ 为${\displaystyle x}$ 的似然函数，
• ${\displaystyle \int _{-\infty }^{\infty }f_{X}(u)L_{X\mid Y=y}(u)\,du}$ 为归一化常数，
• ${\displaystyle f_{X\mid Y=y}(x)}$ 为考虑了数据${\displaystyle Y=y}$ 后${\displaystyle X}$ 的后验密度函数。

后验概率是考虑了一系列随机观测数据的条件概率。对于一个随机变量来说，量化其不确定性非常重要。其中一个实现方法便是提供其后验概率的置信区间。

• 经验贝叶斯方法
• 边缘分布
• Lindley's 悖论