梯度范数感知最小化寻求一阶平坦性并改善泛化
机器学习
2023-07-07 v3 计算机视觉与模式识别
摘要
近来，平坦极小点被证明对改善泛化有效，且锐度感知最小化(SAM)取得了最先进的性能。然而，SAM及其后续工作所讨论的平坦性当前定义仅限于零阶平坦性（即扰动半径内的最坏情况损失）。我们表明，当给定扰动半径内存在单一极小点或多个极小点时，零阶平坦性都不足以区分具有低泛化误差的极小点和高泛化误差的极小点。因此我们提出一阶平坦性，一种更强的平坦性度量，关注扰动半径内的最大梯度范数，其同时界定了局部极小点处Hessian的最大特征值与SAM的正则化函数。我们还提出一种称为梯度范数感知最小化(GAM)的新训练过程，以寻找在所有方向上曲率均匀较小的极小点。实验结果表明，GAM改善了使用当前优化器（如SGD和AdamW）在各种数据集和网络上训练所得模型的泛化能力。此外，我们展示GAM可帮助SAM找到更平坦的极小点并取得更好的泛化。
引用
@article{arxiv.2303.03108,
title = {Gradient Norm Aware Minimization Seeks First-Order Flatness and Improves Generalization},
author = {Xingxuan Zhang and Renzhe Xu and Han Yu and Hao Zou and Peng Cui},
journal= {arXiv preprint arXiv:2303.03108},
year = {2023}
}
备注
CVPR2023 highlight paper