稀疏层锐度感知最小化用于高效微调
机器学习
2026-02-11 v1
摘要
锐度感知最小化 (SAM) 寻求具有平坦损失景观的最小值，以提高机器学习任务（包括微调）的泛化性能。然而，其额外的参数扰动步骤会使计算成本翻倍，这成为 SAM 在实际实现中的瓶颈。在本工作中，我们提出一种 SL-SAM 方法通过引入层稀疏技术来突破这一瓶颈。我们的关键创新是将动态层选择问题（用于梯度升数扰动和梯度下降更新步骤）建模为多臂老虎机问题。在每个迭代开始时，SL-SAM 根据梯度范数对模型的部分层进行抽样，以参与后续参数扰动和更新步骤的反向传播，从而降低计算复杂度。我们提供了分析以保证 SL-SAM 的收敛。在多个任务的微调实验中，SL-SAM 的性能与最先进的基线相当，包括在 LLM 微调中获得 #1 排名。同时，SL-SAM 在反向传播中激活的参数比率显著低于 vanilla SAM（SL-SAM 在视觉、中等和大型语言模型分别激活 47%、22% 和 21% 参数，而 vanilla SAM 始终激活 100%），验证了所提出算法的效率。
引用
@article{arxiv.2602.09395,
title = {Sparse Layer Sharpness-Aware Minimization for Efficient Fine-Tuning},
author = {Yifei Cheng and Xianglin Yang and Guoxia Wang and Chao Huang and Fei Ma and Dianhai Yu and Xiaochun Cao and Li Shen},
journal= {arXiv preprint arXiv:2602.09395},
year = {2026}
}