二次型 (统计)

二次型的期望可表示为，^[1]

${\displaystyle \operatorname {E} \left[\varepsilon ^{T}\Lambda \varepsilon \right]=\operatorname {tr} \left[\Lambda \Sigma \right]+\mu ^{T}\Lambda \mu }$ 

其中，${\displaystyle \mu }$  和 ${\displaystyle \Sigma }$  分别表示 ${\displaystyle \varepsilon }$  的期望值 和方差-协方差矩阵， tr 为矩阵的迹。其结果仅仅取决于是否存在 ${\displaystyle \mu }$  和 ${\displaystyle \Sigma }$ ；并且，${\displaystyle \varepsilon }$  的正态性不是必要条件。

关于随机变量的二次型参考书籍 ^[2]

证明

由于二次型是标量，所以二次型的迹就是它本身${\displaystyle \operatorname {E} \left[\varepsilon ^{T}\Lambda \varepsilon \right]=\operatorname {tr} (\operatorname {E} [\varepsilon ^{T}\Lambda \varepsilon ])}$ 。

由于矩阵的迹是其对角线元素之和（即矩阵元素线性组合的结果），因此服从期望的线性，有

${\displaystyle \operatorname {tr} (\operatorname {E} \left[\varepsilon ^{T}\Lambda \varepsilon \right])=\operatorname {E} [\operatorname {tr} (\varepsilon ^{T}\Lambda \varepsilon )].}$ 

利用迹的可交换性，

${\displaystyle \operatorname {E} [\operatorname {tr} (\varepsilon ^{T}\Lambda \varepsilon )]=\operatorname {E} [\operatorname {tr} (\Lambda \varepsilon \varepsilon ^{T})].}$ 

由期望的线性可得

${\displaystyle \operatorname {E} [\operatorname {tr} (\Lambda \varepsilon \varepsilon ^{T})]=\operatorname {tr} (\Lambda \operatorname {E} (\varepsilon \varepsilon ^{T})).}$ 

由方差的标准属性可知：

${\displaystyle \operatorname {tr} (\Lambda (\Sigma +\mu \mu ^{T})).}$ 

再次应用迹的可交换性可得：

${\displaystyle \operatorname {tr} (\Lambda \Sigma )+\operatorname {tr} (\Lambda \mu \mu ^{T})=\operatorname {tr} (\Lambda \Sigma )+\operatorname {tr} (\mu ^{T}\Lambda \mu )=\operatorname {tr} (\Lambda \Sigma )+\mu ^{T}\Lambda \mu .}$ 

通常情况下，二次型的方差在很大程度上取决于 ${\displaystyle \varepsilon }$  的分布。 然而，如果 ${\displaystyle \varepsilon }$  服从多元正态分布，则二次型的方差的求解非常容易。假设 ${\displaystyle \Lambda }$  是一个对称矩阵，则有，

${\displaystyle \operatorname {var} \left[\varepsilon ^{T}\Lambda \varepsilon \right]=2\operatorname {tr} \left[\Lambda \Sigma \Lambda \Sigma \right]+4\mu ^{T}\Lambda \Sigma \Lambda \mu }$  ^[3].

事实上，这可以推广到同一向量 ${\displaystyle \varepsilon }$  的两个二次型的协方差计算中 (注意, ${\displaystyle \Lambda _{1}}$  和 ${\displaystyle \Lambda _{2}}$  必须都是对称矩阵):

${\displaystyle \operatorname {cov} \left[\varepsilon ^{T}\Lambda _{1}\varepsilon ,\varepsilon ^{T}\Lambda _{2}\varepsilon \right]=2\operatorname {tr} \left[\Lambda _{1}\Sigma \Lambda _{2}\Sigma \right]+4\mu ^{T}\Lambda _{1}\Sigma \Lambda _{2}\mu }$ 。

不对称矩阵的方差计算

在某些参考资料中，在 ${\displaystyle \Lambda }$  为非对称矩阵情况下，也错误地得到了上述方差/协方差的结果。 在一般情况下，${\displaystyle \Lambda }$  可以通过下面方式得到：

${\displaystyle \varepsilon ^{T}\Lambda ^{T}\varepsilon =\varepsilon ^{T}\Lambda \varepsilon }$ 

因此

${\displaystyle \varepsilon ^{T}{\tilde {\Lambda }}\varepsilon =\varepsilon ^{T}\left(\Lambda +\Lambda ^{T}\right)\varepsilon /2}$ 

但是，这是一个二次型的对称矩阵 ${\displaystyle {\tilde {\Lambda }}=\left(\Lambda +\Lambda ^{T}\right)/2}$ ，所以其均值和方差表达式相同，只是将 ${\displaystyle \Lambda }$  替换为 ${\displaystyle {\tilde {\Lambda }}}$ 。

设有观测值的集合 ${\displaystyle y}$  和运算矩阵 ${\displaystyle H}$ ，则 ${\displaystyle y}$  的残差平方和可表示为其二次型：

${\displaystyle {\textrm {RSS}}=y^{T}(I-H)^{T}(I-H)y.}$ 

其中，矩阵 ${\displaystyle H}$  为对称和等幂的，其误差为协方差矩阵为 ${\displaystyle \sigma ^{2}I}$  的高斯分布, ${\displaystyle {\textrm {RSS}}/\sigma ^{2}}$  为自由度是 ${\displaystyle k}$  的卡方分布，参数为 ${\displaystyle \lambda }$ ，有

${\displaystyle k=\operatorname {tr} \left[(I-H)^{T}(I-H)\right]}$ 

${\displaystyle \lambda =\mu ^{T}(I-H)^{T}(I-H)\mu /2}$ 

如果 ${\displaystyle Hy}$  在估计 ${\displaystyle \mu }$  时没有偏差，则参数 ${\displaystyle \lambda }$  为零且 ${\displaystyle {\textrm {RSS}}/\sigma ^{2}}$  服从中心卡方分布。

• 二次型
• 协方差矩阵