高斯-马尔可夫定理

简单（一元）线性回归模型

对于简单（一元）线性回归模型，

${\displaystyle y=\beta _{0}+\beta _{1}x+\varepsilon }$ 

其中${\displaystyle \beta _{0}}$ 和${\displaystyle \beta _{1}}$ 是非随机但不能观测到的参数，${\displaystyle x_{i}}$ 是非随机且可观测到的一般变量，${\displaystyle \varepsilon _{i}}$ 是不可观测的随机变量，或称为随机误差或噪音，${\displaystyle y_{i}}$ 是可观测的随机变量。

高斯-马尔可夫定理的假设条件是：

• 在总体模型中，各变量关系为${\displaystyle y=\beta _{0}+\beta _{1}x+\varepsilon }$ (线性于参数)
• 我们具有服从于上述模型的随机样本，样本容量为n（随机抽样），
• x的样本结果为非完全相同的数值（解释变量的样本有波动），
• 对于给定的解释变量，误差的期望为零，换言之${\displaystyle {\rm {E}}\left(\varepsilon |x\right)=0}$  （零条件均值），
• 对于给定的解释变量，误差具有相同的方差，换言之 ${\displaystyle {\rm {Var}}\left(\varepsilon |x\right)=\sigma ^{2}}$ （同方差性）。

则对${\displaystyle \beta _{0}}$ 和${\displaystyle \beta _{1}}$ 的最佳线性无偏估计为，

${\displaystyle {\hat {\beta }}_{1}={\frac {\sum {x_{i}y_{i}}-{\frac {1}{n}}\sum {x_{i}}\sum {y_{i}}}{\sum {x_{i}^{2}}-{\frac {1}{n}}(\sum {x_{i}})^{2}}}={\frac {\widehat {{\text{Cov}}\left(x,y\right)}}{{\hat {\sigma _{x}}}^{2}}}={\hat {\rho }}_{xy}{\frac {\hat {\sigma _{x}}}{\hat {\sigma _{y}}}},\quad {\hat {\beta }}_{0}={\overline {y}}-{\hat {\beta }}_{1}\,{\overline {x}}\ .}$ 

多元线性回归模型

对于多元线性回归模型，

${\displaystyle y_{i}=\sum _{j=0}^{p}\beta _{j}x_{ij}+\varepsilon _{i}}$ , ${\displaystyle x_{i0}=1;\quad i=1,\dots n.}$ 

使用矩阵形式，线性回归模型可简化记为${\displaystyle \mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}$ ，其中采用了以下记号：

${\displaystyle \mathbf {Y} =(y_{1},y_{2},\dots ,y_{n})^{T}}$  (观测值向量，Vector of Responses),

${\displaystyle \mathbf {X} =(x_{ij})={\begin{bmatrix}1&x_{11}&x_{12}&\cdots &x_{1p}\\1&x_{21}&x_{22}&\cdots &x_{2p}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n1}&x_{n2}&\cdots &x_{np}\end{bmatrix}}}$  (设计矩阵，Design Matrix),

${\displaystyle {\boldsymbol {\beta }}=(\beta _{0},\beta _{1},\dots ,\beta _{p})^{T}}$  (参数向量，Vector of Parameters),

${\displaystyle {\boldsymbol {\varepsilon }}=(\varepsilon _{1},\varepsilon _{2},\dots ,\varepsilon _{n})^{T}}$  (随机误差向量，Vectors of Error)。

高斯-马尔可夫定理的假设条件是：

• ${\displaystyle {\rm {E}}\left({\boldsymbol {\varepsilon }}\mid \mathbf {X} \right)=0}$  ，${\displaystyle \forall \mathbf {X} }$ （零均值），
• ${\displaystyle {\rm {Var}}\left({\boldsymbol {\varepsilon }}\mid \mathbf {X} \right)={\rm {E}}\left({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{T}\mid \mathbf {X} \right)=\sigma _{\varepsilon }^{2}\mathbf {I_{n}} }$ ，（同方差且不相关），其中${\displaystyle \mathbf {I_{n}} }$ 为n阶单位矩阵(Identity Matrix)。

则对${\displaystyle {\boldsymbol {\beta }}}$ 的最佳线性无偏估计为

${\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {Y} }$ 

首先，注意的是这里数据是${\displaystyle \mathbf {Y} }$ 而非${\displaystyle \mathbf {X} }$ ，我们希望找到${\displaystyle {\boldsymbol {\beta }}}$ 对于${\displaystyle \mathbf {Y} }$ 的线性估计量，记作

${\displaystyle {\hat {\boldsymbol {\beta }}}=\mathbf {M} +\mathbf {N} \mathbf {Y} }$ 

其中${\displaystyle {\hat {\boldsymbol {\beta }}}}$ ，${\displaystyle \mathbf {M} }$ ，${\displaystyle \mathbf {N} }$ 和${\displaystyle \mathbf {Y} }$ 分别是${\displaystyle (p+1)\times 1}$ ，${\displaystyle (p+1)\times 1}$ ，${\displaystyle (p+1)\times n}$ 和${\displaystyle n\times 1}$ 矩阵。

根据零均值假设所得，

${\displaystyle {\rm {E}}\left({\hat {\boldsymbol {\beta }}}\mid \mathbf {X} \right)=\mathbf {M} +\mathbf {N} {\rm {E}}\left(\mathbf {Y} \mid \mathbf {X} \right)=\mathbf {M} +\mathbf {N} \mathbf {X} {\boldsymbol {\beta }}}$ 

其次，我们同时限制寻找的估计量为无偏的估计量，即要求${\displaystyle {\rm {E}}\left({\hat {\boldsymbol {\beta }}}\right)={\boldsymbol {\beta }}}$ ，因此有

${\displaystyle \mathbf {M} =\mathbf {0} }$ （零矩阵），${\displaystyle \mathbf {N} \mathbf {X} =\mathbf {I_{p+1}} }$ 

• Earliest Known Uses of Some of the Words of Mathematics: G (brief history and explanation of its name)
• Proof of the Gauss Markov theorem for multiple linear regression （页面存档备份，存于互联网档案馆） (makes use of matrix algebra)
• A Proof of the Gauss Markov theorem using geometry