迭代法

迭代法(英语:Iterative Method),在计算数学中,迭代是通过从一个初始估计出发寻找一系列近似解来解决问题(一般是解方程或者方程组)的数学过程,为实现这一过程所使用的方法统称。

跟迭代法相对应的是直接法(或者称为一次解法),即一次性解决问题,例如通过开方解决方程。一般如果可能,直接解法总是优先考虑的。但当遇到复杂问题时,特别是在未知量很多,方程为非线性时,我们无法找到直接解法(例如五次以及更高次的代数方程没有解析解,参见阿贝尔定理),这时候或许可以通过迭代法寻求方程(组)的近似解。

最常见的迭代法是牛顿法。其他还包括梯度下降法共轭迭代法变尺度迭代法最小二乘法线性规划非线性规划单纯型法惩罚函数法斜率投影法遗传算法模拟退火等等。

线性系统

求解线性方程系统的迭代方法主要分为两类,分别是定常迭代法和Krylov子空间法。

定常迭代法

这种方法易于推导,方便实现和分析,但只能保证某些特定形式矩阵求解的收敛性。定常迭代法的例子包括雅可比法高斯-赛德尔迭代,以及逐次超松弛迭代法(SOR)。线性定常迭代法又称为松弛法

Krylov子空间法

通过在子空间上最小化余量来得到近似解。Krylov子空间法的原型是是共轭梯度法(CG),其它方法还包括广义最小残量法(GMRES)和双共轭梯度方法(BiCG)。

Krylov子空间法的收敛性

参见

外部链接