深入分析面向实用的二阶优化器：基于Fisher信息的洞见

一阶优化方法仍是训练深度神经网络（DNN）的标准方法。诸如Adam之类的优化器通过对角矩阵对随机梯度进行预条件化来融合有限的曲率信息。尽管一阶方法已广泛采用，但二阶优化算法通常在收敛性上优于Adam和SGD等方法。然而，其在训练DNN时仍受限于显著高于一阶方法的每迭代计算成本。本文提出AdaFisher，一种新型自适应二阶优化器，利用Fisher信息矩阵的对角块Kronecker近似，对梯度进行自适应预条件化。AdaFisher旨在在二阶方法的收敛性和泛化能力与训练DNN所需的计算效率之间建立桥梁。尽管二阶优化器传统上速度较慢，AdaFisher在图像分类和语言建模等任务上效果显著，在超参数调优期间表现出卓越的稳定性和鲁棒性。我们展示AdaFisher在准确率和收敛速度上均优于最先进的优化器。代码已公开于https://github.com/AtlasAnalyticsLab/AdaFisher。