用于深度学习的无逆快速自然梯度下降法
机器学习
2024-04-30 v2 计算机视觉与模式识别
摘要
二阶优化技术通过结合二阶导数或统计量，具有比一阶方法实现更快收敛速率的潜力。然而，由于计算效率低下，它们在深度学习中的应用受到限制。人们提出了各种方法来解决这个问题，主要集中在最小化待求逆矩阵的大小上。尽管如此，迭代执行求逆操作的必要性依然存在。在这项工作中，我们提出了一种快速自然梯度下降 (FNGD) 方法，仅需在第一个 epoch 期间进行求逆。具体而言，研究揭示自然梯度下降 (NGD) 本质上是每样本梯度的加权和。我们的新方法进一步提出在这些 epoch 之间共享这些加权系数，而不影响实证性能。因此，FNGD 表现出与一阶方法中平均和相似的特性，导致 FNGD 的计算复杂度与一阶方法相当。在图像分类和机器翻译任务上的大量实验证明了所提出的 FNGD 的效率。对于在 CIFAR-100 上训练 ResNet-18，与 KFAC 相比，FNGD 可实现 2.07 的加速。对于在 Multi30K 上训练 Transformer，FNGD 的表现优于 AdamW 24 个 BLEU 分数，同时需要几乎相同的训练时间。
引用
@article{arxiv.2403.03473,
title = {Inverse-Free Fast Natural Gradient Descent Method for Deep Learning},
author = {Xinwei Ou and Ce Zhu and Xiaolin Huang and Yipeng Liu},
journal= {arXiv preprint arXiv:2403.03473},
year = {2024}
}