矩阵微积分

在本小节中，我们在表示向量和矩阵时，通过用单个变量来表示许多变量的方式，把矩阵记法的效用发挥到最大。接下来我们用不同字体来区分标量、向量和矩阵。我们使用M(n,m)来表示包含n行m列的n×m实矩阵的空间。该空间中的一般矩阵用粗体大写字母表示，例如A，X，Y等。而若该矩阵属于M(n,1)，即列向量，则用粗体小写字母表示，如a，x，y等。特别地，M(1,1)中的元素为标量，用小写斜体字母表示，如a，t，x等。X^T 表示矩阵转置，tr(X)表示矩阵的迹，而 det(X)或|X|表示行列式。除非专门注明，所有函数都默认属于光滑函数C¹。 通常字母表前半部分的字母(a, b, c, …)用于表示常量，而后半部分的字母(t, x, y, …)用于表示变量。

由于向量可看成仅有一列的矩阵，最简单的矩阵求导为向量求导。

这里的标记方法可以通过如下方式表达大部分向量微积分：把n维向量构成的空间M(n,1)等同为欧氏空间 Rⁿ， 标量M(1,1)等同于R。对应的向量微积分的概念在每小节末尾列出。

向量对标量求导

向量${\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}}$ 关于标量 x的导数可以（用分子记法）写成

${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}\\{\frac {\partial y_{2}}{\partial x}}\\\vdots \\{\frac {\partial y_{m}}{\partial x}}\\\end{bmatrix}}}$ 

在向量微积分中，向量${\displaystyle \mathbf {y} }$ 关于标量${\displaystyle x}$ 的导数也被称为向量${\displaystyle \mathbf {y} }$ 的切向量，${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}$ 。注意这里${\displaystyle \mathbf {y} :\mathbb {R} \rightarrow \mathbb {R} ^{n}}$ 。

例子 简单的样例包括欧式空间中的速度向量，它是位移向量（看作关于时间的函数）的切向量。更进一步而言， 加速度是速度的切向量。

标量对向量求导

标量y对向量${\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}$ 的导数可以（用分子记法）写成

${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}&{\frac {\partial y}{\partial x_{2}}}&\cdots &{\frac {\partial y}{\partial x_{n}}}\end{bmatrix}}}$ 

在向量微积分中，标量y在的空间Rⁿ(其独立坐标是x的分量)中的梯度是标量y对向量x的导数的转置。在物理学中，电场是电势的负梯度向量。

标量函数f(x)对空间向量x在单位向量u（在这里表示为列向量）方向上的方向导数可以用梯度定义：

${\displaystyle \nabla _{\mathbf {u} }{f}(\mathbf {x} )=\nabla f(\mathbf {x} )\cdot \mathbf {u} }$ 

使用刚才定义的标量对向量的导数的记法，我们可以把方向导数写作 ${\displaystyle \nabla _{\mathbf {u} }f=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\top }\mathbf {u} }$  这类记法在证明乘法法则和链式法则的时候非常直观，因为它们与我们熟悉的标量导数的形式较为相似。

向量对向量求导

前面两种情况可以看作是向量对向量求导在其中一个是一维向量情况下的特例。类似地我们将会发现有关矩阵的求导可被以一种类似的方式化归为向量求导。

向量函数 (分量为函数的向量) ${\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}}$ 对输入向量${\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}$ 的导数，可以（用分子记法) 写作

${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}}$ 

在向量微积分中，向量函数y对分量表示一个空间的向量x的导数也被称为前推 (微分)，或雅可比矩阵。

向量函数f对Rⁿ空间中向量v的前推为${\displaystyle d\,\mathbf {f} (\mathbf {v} )={\frac {\partial \mathbf {f} }{\partial \mathbf {v} }}d\,\mathbf {v} }$ 

有两种类型的矩阵求导可以被写成相同大小的矩阵：矩阵对标量求导和标量对矩阵求导。它们在解决应用数学的许多领域常见的最小化问题中十分有用。类比于向量求导，相应的概念有切矩阵和梯度矩阵。

矩阵对标量求导

矩阵函数Y对标量x的导数被称为切矩阵，(用分子记法)可写成：

${\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}}$ 

标量对矩阵求导

定义在元素是独立变量的p×q矩阵X上的标量函数y对X的导数可以(用分子记法)写作

${\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}}$ 

定义矩阵上的重要的标量函数包括矩阵的迹和行列式。

类比于向量微积分，这个导数常被写成如下形式：

${\displaystyle \nabla _{\mathbf {X} }y(\mathbf {X} )={\frac {\partial y(\mathbf {X} )}{\partial \mathbf {X} }}}$ 

类似地，标量函数f(X)关于矩阵X在方向Y的方向导数可写成

${\displaystyle \nabla _{\mathbf {Y} }f=\operatorname {tr} \left({\frac {\partial f}{\partial \mathbf {X} }}\mathbf {Y} \right)}$ 

梯度矩阵经常被应用在估计理论的最小化问题中，比如卡尔曼滤波算法的推导，因此在这些领域中有着重要的地位。

• Fang, Kai-Tai; Zhang, Yao-Ting. Generalized multivariate analysis. Science Press (Beijing) and Springer-Verlag (Berlin). 1990. ISBN 3540176519. 9783540176510. 
• Kollo, Tõnu; von Rosen, Dietrich. Advanced multivariate statistics with matrices. Dordrecht: Springer. 2005. ISBN 978-1-4020-3418-3. 
• Pan, Jianxin; Fang, Kaitai. Growth curve models and statistical diagnostics. Beijing: Science Press. 2007. ISBN 9780387950532.