用于非凸随机优化的在线二阶方法

本文基于预条件随机梯度下降（PSGD）理论，提出了一族适用于可能非凸随机优化的在线二阶方法，该方法可视为一种增强的随机牛顿法，具备同时处理梯度噪声和非凸性的能力。我们从多个方面改进了原始 PSGD 的实现，例如新的预条件器形式、更准确的 Hessian 向量积计算，以及在 Hessian 消失或病态时更好的数值稳定性等。我们还揭示了特征归一化与使用 Kronecker 积预条件器的 PSGD 之间的关系，这解释了 Kronecker 积预条件器在深度神经网络学习中的优异表现。我们提供了一个用 Tensorflow 实现的软件包（https://github.com/lixilinx/psgd_tf），用于在广泛使用的神经网络架构（如卷积神经网络和循环神经网络）的各种基准问题上比较随机梯度下降（SGD）和带有五种不同预条件器的 PSGD 变体。实验结果清楚地证明了 PSGD 在泛化性能和收敛速度方面的优势。