NysAct：一种使用 Nystrom 近似的可扩展预条件梯度下降方法
机器学习
2025-06-11 v1
摘要
自适应梯度方法计算效率高且收敛快，但通常泛化能力较差。相比之下，二阶方法增强了收敛性和泛化能力，但通常会产生高昂的计算和内存成本。在这项工作中，我们引入了 NysAct，一种可扩展的一阶梯度预条件方法，在最先进的一阶和二阶优化方法之间取得了平衡。NysAct 利用特征值平移的 Nystrom 方法来近似激活协方差矩阵，并将其作为预条件矩阵，在几乎不影响测试精度的情况下显著降低了时间和内存复杂度。我们的实验表明，NysAct 不仅比一阶和二阶方法都获得了更好的测试精度，而且所需的计算资源也远少于现有的二阶方法。代码可在 https://github.com/hseung88/nysact 获取。
引用
@article{arxiv.2506.08360,
title = {NysAct: A Scalable Preconditioned Gradient Descent using Nystrom Approximation},
author = {Hyunseok Seung and Jaewoo Lee and Hyunsuk Ko},
journal= {arXiv preprint arXiv:2506.08360},
year = {2025}
}