由矩阵运算组成的目标函数的高阶导数的高效计算

本文关注由矩阵运算组成的函数 $f$ 的高阶导数的高效计算。即，我们希望计算 $D$ 阶导数张量 $\nabla^D f(X) \in \mathbb R^{N^D}$，其中 $f:\mathbb R^{N} \to \mathbb R$ 以包含许多矩阵运算的算法形式给出。我们提出了一种方法，该方法结合了算法微分（AD）中的两种著名技术：标量上的单变量泰勒传播（UTPS）和矩阵上的一阶前向与反向模式。这种结合产生了一种我们称之为矩阵上的单变量泰勒传播（UTPM）的技术。该方法继承了许多理想特性：易于实现、非常高效，并且不仅返回 $\nabla^D f$，还在过程中给出 $d \leq D$ 的导数 $\nabla^d f$。作为性能测试，我们通过 AD 反向模式计算 $f(X) = \trace (X^{-1})$ 的梯度 $\nabla f(X)$（其中 $X \in \mathbb R^{n \times n}$），观察到相比 UTPS 约 100 倍的加速。由于该方法的特性，内存占用也很小，因此可用于微分那些因物理内存限制而无法通过标准方法访问的函数。