自动微分

自动微分的基础是，根据复合函数求导法则来合并微分值。以${\displaystyle f(x)=g(h(x))}$ 为例，根据复合函数求导法则，我们有：

${\displaystyle {\frac {df}{dx}}={\frac {df}{dh}}{\frac {dh}{dx}}}$ 

通常有两个不同的模式：“前向积累”（或“前向模式”）和“反向积累”（或反向模式）。 前向积累由右到左地使用复合函数求导法则，即先计算 ${\displaystyle dh/dx}$  ，然后才${\displaystyle dg/dh}$ 。 反向积累则是由左到右。

前向积累

前向积累式的自动微分是最容易理解和实作的。 ${\displaystyle f(x_{1},x_{2})=x_{1}x_{2}+\sin(x_{1})}$ 这个函数是可被电脑（或程序员） 解释成一连串对变数${\displaystyle w_{i}}$ 的运算。 前向积累式自动微分的工具则会增加相对应的作用于第二项上的运算。

计算${\displaystyle f(x_{1},x_{2})=x_{1}x_{2}+\sin(x_{1})}$ 的导数需要初始化， 以区别是要对${\displaystyle x_{1}}$ 或${\displaystyle x_{2}}$ 来求导数。 上述表格则以${\displaystyle w'_{1}=1}$ 和${\displaystyle w'_{2}=0}$ 来初始化， 并且我们可以看到其结果${\displaystyle x_{2}+\cos(x_{1})}$ 正是对${\displaystyle x_{1}}$ 的导数。 注意，虽然表格列出了符号微分， 但以电脑的角度而言，电脑总是储存数值。图2则以图形表明上述的叙述。

为了计算这个例子的导数，其分别为${\displaystyle \partial f/\partial x_{1}}$ 和${\displaystyle \partial f/\partial x_{2}}$ ， 需要计算两次，一次是以${\displaystyle w'_{1}=1}$ 和${\displaystyle w'_{2}=0}$ 做初始值， 另一次则以${\displaystyle w'_{1}=0}$ 和${\displaystyle w'_{2}=1}$ 做为初始值。

前向积累的计算复杂度则正比于原来程式的计算复杂度。

对于函数${\displaystyle f:\mathbb {R} \rightarrow \mathbb {R} ^{m}}$ 且 ${\displaystyle m\gg 1}$ 来说， 前向积累只要计算一次，优于需要计算 m 次的反向积累。

反向积累

前向式积累自动微分可借由扩充实数中的代数并得到一个新的算术系统来达成。 每一个数都会新增另一数，用来表示一函数在这数上导数的数。 而每一个算术运算都被扩充于此新的代数。 这个扩充后的代数就是二元数的代数。

将每一个数${\displaystyle \,x}$ 替换成数${\displaystyle x+x'\varepsilon }$ ，其中${\displaystyle x'}$ 是一个实数，但${\displaystyle \varepsilon }$ 则只是一个据有${\displaystyle \varepsilon ^{2}=0}$ 这个特性的符号。 使用这特性，我们可以有运算

${\displaystyle (x+x'\varepsilon )+(y+y'\varepsilon )=x+y+(x'+y')\varepsilon }$ 

${\displaystyle (x+x'\varepsilon )\cdot (y+y'\varepsilon )=xy+xy'\varepsilon +yx'\varepsilon +x'y'\varepsilon ^{2}=xy+(xy'+yx')\varepsilon }$ 

减法和除法则类似。

现在，我们可以计算多项式。 如果${\displaystyle P(x)=p_{0}+p_{1}x+p_{2}x^{2}+\cdots +p_{n}x^{n}}$ ，则

其中 ${\displaystyle P^{(1)}}$  表示 ${\displaystyle P}$  对第一个参数的导数。 而 ${\displaystyle x'}$  则称作“种子”，可以任意选择。

新的算术是由有序对、写成${\displaystyle \langle x,x'\rangle }$  及对第一项的运算和对第二项的第一阶微分运算所组成。 将上述结果应用于多项式的解析函数上， 我们可以得到一系列关于基本算术和一些标准函数的新算术：

${\displaystyle \langle u,u'\rangle +\langle v,v'\rangle =\langle u+v,u'+v'\rangle }$ 

${\displaystyle \langle u,u'\rangle -\langle v,v'\rangle =\langle u-v,u'-v'\rangle }$ 

${\displaystyle \langle u,u'\rangle *\langle v,v'\rangle =\langle uv,u'v+uv'\rangle }$ 

${\displaystyle \langle u,u'\rangle /\langle v,v'\rangle =\left\langle {\frac {u}{v}},{\frac {u'v-uv'}{v^{2}}}\right\rangle \quad (v\neq 0)}$ 

${\displaystyle \sin \langle u,u'\rangle =\langle \sin(u),u'\cos(u)\rangle }$ 

${\displaystyle \cos \langle u,u'\rangle =\langle \cos(u),-u'\sin(u)\rangle }$ 

${\displaystyle \exp \langle u,u'\rangle =\langle \exp u,u'\exp u\rangle }$ 

${\displaystyle \log \langle u,u'\rangle =\langle \log(u),u'/u\rangle \quad (u>0)}$ 

${\displaystyle \langle u,u'\rangle ^{k}=\langle u^{k},ku^{k-1}u'\rangle \quad (u\neq 0)}$ 

${\displaystyle \left|\langle u,u'\rangle \right|=\langle \left|u\right|,u'{\mbox{sign}}u\rangle \quad (u\neq 0)}$ 

并且，一般而言，对于一个函数 ${\displaystyle g}$ ，我们会有

${\displaystyle g(\langle u,u'\rangle ,\langle v,v'\rangle )=\langle g(u,v),g^{(1)}(u,v)u'+g^{(2)}(u,v)v'\rangle }$ 

其中${\displaystyle g^{(1)}}$ 和${\displaystyle g^{(2)}}$ 分别是${\displaystyle g}$ 对其第一项和第二项的导数。

对一个二元算术运算作用于混合的参数时（数对${\displaystyle \langle u,u'\rangle }$ 和实数${\displaystyle c}$ ）， 实数会先被转成${\displaystyle \langle c,0\rangle }$ 。 函数${\displaystyle f:\mathbb {R} \rightarrow \mathbb {R} }$ 在${\displaystyle x_{0}}$ 上的导数 则为以上述算术计算${\displaystyle f(\langle x_{0},1\rangle )}$ ，其结果为${\displaystyle \langle f(x_{0}),f'(x_{0})\rangle }$ 。

向量参数和函数

借由采取方向导数的运算， 多变数函数也可以同单变数函数的效率和机制来处理。 亦即，函数${\displaystyle f:\mathbb {R} ^{n}\rightarrow \mathbb {R} ^{m}}$ 在${\displaystyle x\in \mathbb {R} ^{n}}$ 这点， 和${\displaystyle x'\in \mathbb {R} ^{n}}$ 这个方向上的方向导数${\displaystyle y'\in \mathbb {R} ^{m}}$ ， 可以使用上述相同的算术来计算 ${\displaystyle (\langle y_{1},y'_{1}\rangle ,\ldots ,\langle y_{m},y'_{m}\rangle )=f(\langle x_{1},x'_{1}\rangle ,\ldots ,\langle x_{n},x'_{n}\rangle )}$  而求得。

更高阶微分

以上的算术可以被一般化，以用于二阶及三阶导数。 然而，此算术的规则将会迅速变得复杂。 其复杂度将与最高阶导数阶数成平化。 取而代之的是使用限缩泰勒级数。 这是可行的，因为函数的泰勒级数中的通项为己知系数和函数导数的乘积。 使用自动微分来计算黑塞矩阵在某些最佳化已被证明是可行的。

前向式积累是由对程式的非标准化转译程序来实作。 即将实数替换成二元数，常数则换成有第二项为零系数的二元数。 而数值上基本运算则被换成二元数的运算。 非标准化转译程序一般使用两者策略之一：程式码转换和运算符重载。

程式码转换

一个函数的程式码会被自动产生的程式码所替换， 新生成用来计算导数的程式码则会插入原程式码中。

程式码转换可实作在所有的编程语言上，且它对编译器而言，是容易最佳化的。 然而，实作自动微分的工具则是比较困难的。

例子：

• ADIC （页面存档备份，存于互联网档案馆） (C/C++, 前向积累)
• ADIFOR （页面存档备份，存于互联网档案馆） (Fortran77)
• OpenAD （页面存档备份，存于互联网档案馆） (Fortran77, Fortran95, C/C++)
• TAPENADE （页面存档备份，存于互联网档案馆） (Fortran77, Fortran95)

运算符重载

如果所使用的编程语言支持，运算符重载是个可行的方法。 实数的物件跟基本数学运算必须重载以满足上述 augmented 算术。 这不须要改变要被微分的函数的程式码。

运算符重载对前向积累是容易实作的，并且可能对反向积累亦如此。 然而，与前向积累相比，现有的编译器在最佳化程式码方面则是较为落后。

例子：

• ADC Version 4.0 （页面存档备份，存于互联网档案馆） (C/C++)
• ADF Version 4.0 （页面存档备份，存于互联网档案馆） (Fortran 77, Fortran 95)
• ADOL-C (C/C++)
• FADBAD++ （页面存档备份，存于互联网档案馆） (C/C++)
• CppAD （页面存档备份，存于互联网档案馆） (C/C++)
• MAD （页面存档备份，存于互联网档案馆） (Matlab)
• Sacado (Trilinos 的一部分) (C++, forward/reverse)

• Rall, Louis B. Automatic Differentiation: Techniques and Applications. Lecture Notes in Computer Science 120. Springer. 1981. ISBN 978-3-540-10861-0. 
• Griewank, Andreas. Evaluating Derivatives: Principles and Techniques of Algorithmic Differentiation. Frontiers in Applied Mathematics 19. SIAM. 2000. ISBN 0-89871-451-6. 

• www.autodiff.org （页面存档备份，存于互联网档案馆）, An "entry site to everything you want to know about automatic differentiation"
• Automatic Differentiation of Parallel OpenMP Programs
• Automatic Differentiation, C++ Templates and Photogrammetry
• Automatic Differentiation, Operator Overloading Approach （页面存档备份，存于互联网档案馆）
• Compute analytic derivatives through a web-based interface Automatic differentiation of nonlinear models
• Compute analytic derivatives of any Fortran77 or Fortran95 through a web-based interface （页面存档备份，存于互联网档案馆） Automatic Differentiation of Fortran programs