归一化在锐度感知最小化中的关键作用

Yan Dai; Kwangjun Ahn; Suvrit Sra

归一化在锐度感知最小化中的关键作用

机器学习 2023-10-24 v2 人工智能机器学习

作者: Yan Dai , Kwangjun Ahn , Suvrit Sra

摘要

锐度感知最小化（SAM）是最近提出的一种基于梯度的优化器（Foret 等人，ICLR 2021），可大幅提升深度神经网络的预测性能。因此，解释其经验成功的研究兴趣激增。我们特别关注理解归一化这一 SAM 更新的关键组件所起的作用。我们从理论和经验上研究了归一化在 SAM 中对凸函数和非凸函数的影响，揭示了归一化所起的两个关键作用：i）有助于稳定算法；ii）使算法能够沿极小值连续统（流形）漂移——近期理论工作指出该特性是获得更优性能的关键。我们进一步论证，归一化的这两个特性使 SAM 对超参数的选择具有鲁棒性，从而支持了 SAM 的实用性。我们的结论得到了各类实验的支撑。

关键词

锐度感知最小化归一化深度神经网络极小值流形超参数鲁棒性梯度优化器

引用

@article{arxiv.2305.15287,
  title  = {The Crucial Role of Normalization in Sharpness-Aware Minimization},
  author = {Yan Dai and Kwangjun Ahn and Suvrit Sra},
  journal= {arXiv preprint arXiv:2305.15287},
  year   = {2023}
}

备注

30 pages, Published in 37th Neural Information Processing Systems (NeurIPS 2023)

归一化在锐度感知最小化中的关键作用

摘要

关键词

引用

备注

相关论文