残差平方和

残差平方和(residual sum of squares,缩写:RSS)在统计学上是指将所有做预测时的误差值平方加起来得出的数:

它是衡量数据与估计模型之间差异的尺度。较小的残差平方和表示模型能良好地拟合数据。在确定参数和选择模型时,残差平方和是一种最优性准则。通常,总的方差=已经被模型解释了的平方和+残差平方和。

残差平方和这个数值在机器学习上是普通最小二乘法算法的重心。

与皮尔逊相关系数的关系

对于两变量x和y, 它们的数据组的均值分别记为 ,则两数据组的皮尔逊相关系数 ,其中,    .

给定最小二乘回归线方程为  , 其中   ;  . 则这时残差平方和可以表示为:

 

通过皮尔逊相关系数的公式,可以得到  .