置信区间

对随机样本的定义

定义置信区间最清晰的方式是从一个随机样本出发。考虑一个一维随机变量${\displaystyle {\cal {X}}}$ 服从分布${\displaystyle {\cal {F}}}$ ，又假设${\displaystyle \theta }$ 是${\displaystyle {\cal {F}}}$ 的参数之一。假设我们的数据采集计划将要独立地抽样${\displaystyle n}$ 次，得到一个随机样本${\displaystyle \{X_{1},\ldots ,X_{n}\}}$ ，注意这里所有的${\displaystyle X_{i}}$ 都是随机的，我们是在讨论一个尚未被观测的数据集。如果存在统计量(统计量定义为样本${\displaystyle X=\{X_{1},\ldots ,X_{n}\}}$ 的一个函数，且不得依赖于任何未知参数)${\displaystyle u(X_{1},\ldots ,X_{n}),v(X_{1},\ldots ,X_{n})}$ 满足${\displaystyle u(X_{1},\ldots ,X_{n})<v(X_{1},\ldots ,X_{n})}$ 使得：

${\displaystyle \mathbb {P} \left(\theta \in \left(u(X_{1},\ldots ,X_{n}),v(X_{1},\ldots ,X_{n})\right)\right)=1-\alpha }$ 

则称${\displaystyle \left(u(X_{1},\ldots ,X_{n}),v(X_{1},\ldots ,X_{n})\right)}$ 为一个用于估计参数${\displaystyle \theta }$ 的${\displaystyle 1-\alpha }$ 置信区间，其中的，${\displaystyle 1-\alpha }$ 称为置信水平，${\displaystyle \alpha }$ 在假设检验中也称为显著性水平。

对观测到的数据的定义

接续随机样本版本的定义，现在，对于随机变量${\displaystyle {\cal {X}}}$ 的一个已经观测到的样本${\displaystyle \{x_{1},\ldots ,x_{n}\}}$ ，注意这里用小写x表记的${\displaystyle x_{i}}$ 都是已经观测到的数字，没有随机性了，定义基于数据的${\displaystyle 1-\alpha }$ 置信区间为：

${\displaystyle \left(u(x_{1},\ldots ,x_{n}),v(x_{1},\ldots ,x_{n})\right)}$ 

注意，置信区间可以是单尾或者双尾的，单尾的置信区间中设定${\displaystyle u=-\infty }$ 或者${\displaystyle v=+\infty }$ ，具体前者还是后者取决于所构造的置信区间的方向。

初学者常犯一个概念性错误，是将基于观测到的数据所同样构造的置信区间的置信水平，误认为是它包含真实未知参数的真实值的概率。正确的理解是：置信水平只有在描述这个同样构造置信区间的过程(或称方法)的意义下才能被视为一个概率。一个基于已经观测到的数据所构造出来的置信区间，其两个端点已经不再具有随机性，因此，类似的构造的间隔将会包含真正的值的比例在所有值中，其包含未知参数的真实值的概率是0或者1，但我们不能知道是前者还是后者^[3]。

例1：正态分布，已知总体方差${\displaystyle \sigma ^{2}}$ 

${\displaystyle 1-\alpha }$ 水平的正态置信区间为：

${\displaystyle \left({\bar {x}}-z_{\alpha /2}{\frac {\sigma }{\sqrt {n}}},{\bar {x}}+z_{\alpha /2}{\frac {\sigma }{\sqrt {n}}}\right)}$  (双尾)

${\displaystyle \left(-\infty ,{\bar {x}}+z_{\alpha }{\frac {\sigma }{\sqrt {n}}}\right)}$  (单尾)

${\displaystyle \left({\bar {x}}-z_{\alpha }{\frac {\sigma }{\sqrt {n}}},+\infty \right)}$  (单尾)

以下为方便起见，只列出双尾置信区间的例子，且区间中用"${\displaystyle \pm }$ "进行简记：

例2：正态分布，未知总体方差${\displaystyle \sigma ^{2}}$ 

${\displaystyle 1-\alpha }$ 水平的双尾正态置信区间为：

${\displaystyle \left({\bar {x}}\pm t_{n-1;\alpha /2}{\frac {s}{\sqrt {n}}}\right)}$ 

例3：两个独立正态样本

设有两个独立正态样本${\displaystyle x}$ 和${\displaystyle y}$ ，样本大小为${\displaystyle m}$ 和${\displaystyle n}$ ，估计总体均值之差${\displaystyle \mu _{1}-\mu _{2}}$ ，假设总体方差未知但相等：${\displaystyle \sigma _{1}=\sigma _{2}}$ (如果未知且不等就要应用Welch公式（英语：Welch's t-test）来确定t分布的自由度) ${\displaystyle 1-\alpha }$ 水平的双尾正态置信区间为：

${\displaystyle \left({\bar {x}}-{\bar {y}}\pm t_{m+n-2;\alpha /2}\cdot s_{p}\cdot {\sqrt {{\frac {1}{m}}+{\frac {1}{n}}}}\right)}$ ，其中${\displaystyle s_{p}={\sqrt {\frac {(m-1)s_{x}^{2}+(n-1)s_{y}^{2}}{m+n-2}}}}$ 且${\displaystyle s_{x},s_{y}}$ 分别表示${\displaystyle x}$ 和${\displaystyle y}$ 的样本标准差。

置信区间及置信水平常被误解，出版的研究也显示出既使是专业的科学家也常做出错误的诠释。^{[4][5][6][7][8][9]}

• 以95%的置信区间来说，建构出一个置信区间，不代表分布的参数有95%的概率会落在该置信区间内（也就是说该区间有95%的概率涵盖了分布参数）。 ^[10]依照严格的频率学派诠释，一旦置信区间被建构完全，此区间不是涵盖了参数就是没涵盖参数，已经没有概率可言。95%概率指的是建构置信区间步骤的可靠性，不是针对一个特定的区间。^[11]内曼本人（置信区间的原始提倡者）在他的原始论文提出此点：^[12]

  “在上面的叙述中可以注意到，概率是指统计学家在未来关心的估计问题。事实上，我已多次说明，正确结果的频率会趋向于α。考虑到一个样本已被抽取，[特定端点]也已被计算完成。我们能说在这个特定的例子里真值[落到端点中]的概率等于α吗？答案明显是否定的。参数是未知的常数，无法做出对其值的概率叙述……”

Deborah Mayo针对此点进一步说道：^[13]

“无论如何必须强调，在看到[资料的]数值后，Neyman–Pearson理论从不允许做出以下结论，特定产生的置信区间涵盖了真值的概率或信心为(1 − α)100%。Seidenfeld的评论似乎源于一种（并非不寻常的）期望，Neyman–Pearson置信区间能提供他们无法合理提供的，也就是未知参数落入特定区间的概率大小、信心高低或支持程度的测度。随着Savage (1962)之后，参数落入特定区间的概率可能是指最终精密度的测度。最终精密度的测度令人向往而且置信区间又常被(错误地)解释成可提供此测度，然而此解释是不被保证的。无可否认的，‘置信’二字助长了此误解。”

• 95%置信区间不代表有95%的样本资料落在此置信区间。
• 置信区间不是样本参数的可能值的确定范围，虽然它常被启发为可能值的范围。
• 从一个实验中算出的一个95%置信区间，不代表从不同实验得到的样本参数有95%落在该区间中 ^[8]

一般来说，置信区间的构造需要先找到一个枢轴变量（pivotal quantity，或称pivot），其表达式依赖于样本以及待估计的未知参数(但不能依赖于总体的其它未知参数)，其分布不依赖于任何未知参数。

下面以上述例2为例，说明如何利用枢轴变量构造置信区间。对于一个正态分布的随机样本${\displaystyle {X_{1},\ldots ,X_{n}}}$ ，可以证明(此证明对初学者并不容易)如下统计量互相独立：

${\displaystyle {\bar {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$  和 ${\displaystyle S^{2}={\frac {\sum _{i=1}^{n}\left(X_{i}-{\bar {X}}\right)^{2}}{n-1}}}$ 

它们的分布是：

${\displaystyle {\frac {{\bar {X}}-\mu }{\sigma /{\sqrt {n}}}}\sim N(0,1)}$  和 ${\displaystyle (n-1){\frac {S^{2}}{\sigma ^{2}}}\sim \chi _{n-1}^{2}}$ 

所以根据t分布的定义，有

${\displaystyle t={\frac {{\bar {X}}-\mu }{S/{\sqrt {n}}}}\sim t_{n-1}}$ 

于是反解如下等式左边括号中的不等式

${\displaystyle \mathbb {P} \left(-t_{n-1;\alpha /2}<t={\frac {{\bar {X}}-\mu }{S{\sqrt {n}}}}<t_{n-1;\alpha /2}\right)=1-\alpha }$ 

就得到了例2中双尾置信区间的表达式。

有时，置信区间可以用来进行参数检验。例如在上面的例1中构造的双尾${\displaystyle 1-\alpha }$ 水平置信区间，可以用来检验具有相应的显著性水平为${\displaystyle \alpha }$ 的双尾备择假设，具体地说是如下检验： 正态分布总体，知道总体方差${\displaystyle \sigma ^{2}}$ ，在${\displaystyle \alpha }$ 显著性水平下检验：

${\displaystyle H_{0}:\mu =\mu _{0}}$  vs ${\displaystyle H_{1}:\mu \neq \mu _{0}}$ 

检验方法是：当（且仅当）相应的${\displaystyle 1-\alpha }$ 水平置信区间不包含${\displaystyle \mu _{0}}$ 时拒绝零假设${\displaystyle H_{0}}$ 

例1中构造的双尾${\displaystyle 1-\alpha }$ 水平置信区间也可以用来检验如下两个显著性水平为${\displaystyle \alpha /2}$ 的单尾对立假设：

${\displaystyle H_{0}:\mu \leq \mu _{0}}$  vs ${\displaystyle H_{1}:\mu >\mu _{0}}$ 

和

${\displaystyle H_{0}:\mu \geq \mu _{0}}$  vs ${\displaystyle H_{1}:\mu <\mu _{0}}$ 

检验方法是完全类似的，比如对于上述第一个单尾检验${\displaystyle H_{1}:\mu >\mu _{0}}$ ，当且仅当双尾置信区间的左端点大于${\displaystyle \mu _{0}}$ 时拒绝零假设。