吉洪诺夫正则化

吉洪诺夫正则化以安德烈·尼古拉耶维奇·吉洪诺夫命名，为非适定性问题的正则化中最常见的方法。在统计学中，本方法被称为脊回归或岭回归（ridge regression）；在机器学习领域则称为权重衰减或权值衰减（weight decay）。因为有不同的数学家独立发现此方法，此方法又称做吉洪诺夫－米勒法（Tikhonov–Miller method）、菲利浦斯－图米法（Phillips–Twomey method）、受限线性反演（constrained linear inversion method），或线性正规化（linear regularization）。此方法亦和用在非线性最小二乘法（英语：Non-linear_least_squares）的莱文贝格－马夸特方法相关。

当求解超定问题（即${\displaystyle A_{m\times n}x=b,m>n}$）时， 矩阵${\displaystyle A}$ 的协方差矩阵 ${\displaystyle A^{H}A}$ 奇异或接近奇异时，利用最小二乘方法求出的结果 ${\displaystyle {\hat {x}}_{LS}=(A^{H}A)^{-1}A^{H}b}$ 会出现发散或对${\displaystyle x}$ 不合理的逼近。为了解决这一问题，吉洪诺夫于1963年提出了利用正则化项修改最小二乘的代价函数的方法，修改后的代价函数如下：

${\displaystyle J(x)={\frac {1}{2}}(\lVert Ax-b\rVert _{2}^{2}+\lambda \lVert x\rVert _{2}^{2})}$

式中 ${\displaystyle \lambda \geq 0}$ 称为正则化参数^[1]，这种方法被称为吉洪诺夫正则化。