前馈与循环神经网络的矩阵形式反向传播与 Hessian 矩阵

在本文中，我们关注前馈神经网络（FNN）和循环神经网络（RNN）背后的线性代数理论。我们回顾了反向传播，包括基于时间的反向传播（BPTT）。此外，我们得到了表示二阶效应的 Hessian 矩阵的一个新的精确表达式。我们证明，对于 $t$ 个时间步，权重梯度可以表示为秩-$t$ 矩阵，而权重 Hessian 矩阵可以表示为 $t^{2}$ 个秩-$1$ 矩阵与 $W^{T}AW$ 矩阵的 Kronecker 积之和，其中 $A$ 为某个矩阵，$W$ 为权重矩阵。我们还证明，对于大小为 $r$ 的 mini-batch，权重更新可以表示为秩-$rt$ 矩阵。最后，我们简要讨论了 Hessian 矩阵的特征值。