具有斜率恢复项的深度及物理信息神经网络局部自适应激活函数

我们提出两种局部自适应激活函数方法，即层-wise和神经元-wise局部自适应激活函数，它们提升了深度神经网络和物理信息神经网络的性能。激活函数的局部自适应通过分别在每一层（层-wise）和每个神经元（神经元-wise）引入可缩放参数，并使用随机梯度下降算法的一种变体对其进行优化来实现。为了进一步提升训练速度，在损失函数中加入了基于激活斜率的斜率恢复项，其进一步加速收敛，从而降低训练成本。在理论方面，我们证明在所提方法中，在实际的初始化和学习率条件下，梯度下降算法不会被吸引到次优临界点或局部极小值，且所提方法的梯度动力学是基方法在任何（自适应）学习率下都无法实现的。我们进一步表明，自适应激活方法通过隐式地将条件矩阵乘到基方法的梯度上而加速收敛，无需任何条件矩阵的显式计算及矩阵-向量乘积。不同的自适应激活函数被证明会诱导出不同的隐式条件矩阵。此外，所提的带斜率恢复的自适应方法被证明能加速训练过程。