计算深度前馈神经网络高阶导数的准线性算法

由于在计算高阶导数时自动微分的运行时间呈指数级增长，神经网络用于求解微分方程在实际中存在困难。我们提出了 $n$-TangentProp，即将 TangentProp 形式主义 \cite{simard1991tangent} 的自然延伸，以处理任意数量的导数。$n$-TangentProp 以准线性时间计算精确导数 $d^n/dx^n f(x)$，其中对于密集连接、前馈神经网络 $f$（具有光滑、无参数的激活函数）来说。我们对算法在 various 深度、宽度和导数数量方面进行了经验验证。我们展示了该方法在物理信息神经网络中尤为有益，$n$-TangentProp 允许比以前方法更快的训练时间，并在模型规模和损失函数复杂度（即所需导数数量）方面表现出良好的扩展性。本文的代码可在 https://github.com/kyrochi/n\_tangentprop 查看。