为什么SAM对标签噪声具有鲁棒性？
机器学习
2024-05-07 v1
摘要
锐度感知最小化（SAM）最为人知的是在自然图像和语言任务上实现了状态性能。在标签噪声存在的情况下，其最显著的改进（数十倍）尤为突出。理解SAM的标签噪声鲁棒性需要超越对损失景观中“较平坦”区域最小值的鲁棒性进行表征。特别是，在标签噪声下的峰值性能是在损失收敛远之前就实现的。我们将SAM的鲁棒性分解为两个效应：一个由logit项的变化引起，另一个由网络雅可比的变化引起。前者可以在线性逻辑回归中观察到，SAM在此可对干净样本的梯度贡献进行显式加权。虽然这种显式加权在神经网络中也可观察到，但当我们干预并修改SAM以删除此效应时， surprisingly，我们看不到性能下降的迹象。我们推断，SAM在更深层网络中的作用完全由其对网络雅可比效应的影响所解释。我们在两层线性网络中理论上推导了这种雅可比效应所引起的隐式正则化。受我们分析的启发，我们看到，一种成本更低的替代方法，通过显式诱导这些正则化效应，在在真实世界数据集上训练的深层网络中基本上恢复了SAM的优势。
引用
@article{arxiv.2405.03676,
title = {Why is SAM Robust to Label Noise?},
author = {Christina Baek and Zico Kolter and Aditi Raghunathan},
journal= {arXiv preprint arXiv:2405.03676},
year = {2024}
}