通过多重积分增强 Adam 泛化能力的方法
机器学习
2024-12-18 v1
摘要
自适应矩估计（Adam）泛化能力不足阻碍了其更广泛的应用。近期研究表明，损失景观中的平坦极小值与泛化能力的提升高度相关。受积分运算对高频信号滤波效应的启发，我们提出了多重积分 Adam（MIAdam），一种将多重积分项整合到 Adam 中的新型优化器。该多重积分项有效滤除优化过程中遇到的尖锐极小值，引导优化器趋向更平坦的区域，从而增强泛化能力。我们通过扩散理论框架对泛化能力的提升提供了理论解释，并分析了多重积分项对优化器收敛性的影响。实验结果表明，MIAdam 不仅增强了对标签噪声的泛化能力和鲁棒性，还保持了 Adam 快速收敛的特性，在最先进的基准测试中优于 Adam 及其变体。
引用
@article{arxiv.2412.12473,
title = {A Method for Enhancing Generalization of Adam by Multiple Integrations},
author = {Long Jin and Han Nong and Liangming Chen and Zhenming Su},
journal= {arXiv preprint arXiv:2412.12473},
year = {2024}
}