锐度感知最小化（SAM）在尺度不变问题中的隐式正则化
机器学习
2024-10-22 v1 机器学习
摘要
锐度感知最小化（SAM）可提升各种深度学习任务的泛化能力。鼓励广受欢迎的 LoRA 等模型架构，我们探索 SAM 在涉及两组变量的尺度不变问题中的隐式正则化。本 work 引入一种称为平衡性的概念，定义为两组变量平方范数之差。这使我们能够描绘 SAM 的更丰富的全局行为。具体而言，我们的理论与实证发现表明，i) SAM 促进了平衡性；ii) 对平衡性的正则化具有数据响应性——异常值影响更大。后者与观察到的 SAM 在异常值存在时优于 SGD 的经验观察相吻合。利用这种隐式正则化，我们开发了一种资源高效的 SAM 变体——平衡性感知正则化（BAR），专为诸如 LoRA 微调语言模型的尺度不变问题而设计。BAR 可节省 95% 的计算开销，同时在 RoBERTa、GPT2 和 OPT-1.3B 等多个任务上实现提升的测试性能。
引用
@article{arxiv.2410.14802,
title = {Implicit Regularization of Sharpness-Aware Minimization for Scale-Invariant Problems},
author = {Bingcong Li and Liang Zhang and Niao He},
journal= {arXiv preprint arXiv:2410.14802},
year = {2024}
}
备注
NeurIPS 2024