适应性采样-重用-混合分解梯度以加速锋利意识最小化
计算机视觉与模式识别
2025-10-07 v1 人工智能
摘要
锋利意识最小化（SAM）通过要求每次优化步骤计算两次梯度来提高模型泛化能力，但这会使随机梯度下降（SGD）的计算成本翻倍。为缓解这一问题，我们提出了适应性采样-重用-混合分解梯度以显著加速SAM（ARSAM）。具体而言，我们首先发现SAM的梯度可以分解为SGD梯度和第二个阶梯度在第一个阶梯度上的投影（PSF）。此外，我们观察到SGD梯度和PSF在训练期间会动态演化，突出了PSF在实现平坦最小值方面的日益重要作用。因此，提出ARSAM以重用PSF并进行及时更新的PSF仍能保持模型的泛化能力。大量实验表明，ARSAM在各种网络架构上实现的准确率与SAM相当，同时提供约40%的加速。此外，ARSAM在各种具有挑战性的任务（例如人体姿态估计、模型量化）上加速优化，而不损失性能，显示出其广泛的实用性。
引用
@article{arxiv.2510.03763,
title = {Adaptively Sampling-Reusing-Mixing Decomposed Gradients to Speed Up Sharpness Aware Minimization},
author = {Jiaxin Deng and Junbiao Pang},
journal= {arXiv preprint arXiv:2510.03763},
year = {2025}
}