细察双反向传播

近年来，越来越多的神经网络模型在其损失函数中包含了关于输入的导数，从而产生了用于一阶优化的所谓双反向传播。然而，迄今为止尚无对所涉及导数的通用描述。在此，我们在一个非常通用的 Hilbert 空间框架下涵盖了大量特例，这使我们能为许多现实场景提供优化的反向传播规则。这包括对于局部线性激活函数，将 Jacobian 上 Frobenius 范数惩罚的计算量减少约三分之一。此外，我们给出了 ReLU 网络在输入和参数上不连续损失面的描述，并论证了为何这些不连续性在现实中并不构成大问题。