Ginger：一种面向通用神经网络的线性复杂度曲率近似方法
机器学习
2024-02-06 v1 人工智能
最优化与控制
机器学习
摘要
二阶优化方法（如广义高斯-牛顿法）被认为更强大，因为它们利用目标函数的曲率信息并结合 preconditioning 矩阵。尽管具有诱人的理论优势，但在现代深度学习中难以应用。主要原因是计算矩阵逆的内存为二次、时间为三次复杂度，这些要求即便在最先进的硬件上也难以实现。本文提出 Ginger，即广义高斯-牛顿矩阵逆的特征分解方法。该方法在每个迭代中实现线性内存和时间复杂度。我们不对条件矩阵进行近似，而是直接维护其逆，从而提高近似精度。我们给出 Ginger 针对非凸目标的收敛结果。在不同任务和模型架构上的实验验证了本方法的有效性。我们的代码已公开。
引用
@article{arxiv.2402.03295,
title = {Ginger: An Efficient Curvature Approximation with Linear Complexity for General Neural Networks},
author = {Yongchang Hao and Yanshuai Cao and Lili Mou},
journal= {arXiv preprint arXiv:2402.03295},
year = {2024}
}