基于递增批量大小和衰减学习率的尖锐感知最小化算法收敛性分析
机器学习
2024-09-17 v1 最优化与控制
摘要
尖锐感知最小化（SAM）算法及其变体，包括间隙引导的SAM（GSAM），已在通过寻找经验损失函数的平坦局部极小值方面成功提高了深度神经网络模型的泛化能力。同时，已在理论和实践中表明，增加批量大小或衰减学习率可避免经验损失的尖锐局部极小值。本文考虑使用递增批量大小或衰减学习率（如余弦退火或线性学习率）的GSAM算法，并理论上证明了其收敛性。此外，本文数值上比较了带和不带递增批量大小的SAM（GSAM），得出结论：使用递增批量大小或衰减学习率比使用恒定批量大小和学习率找到更平坦的局部极小值。
引用
@article{arxiv.2409.09984,
title = {Convergence of Sharpness-Aware Minimization Algorithms using Increasing Batch Size and Decaying Learning Rate},
author = {Hinata Harada and Hideaki Iiduka},
journal= {arXiv preprint arXiv:2409.09984},
year = {2024}
}