深入理解 Sharpness-Aware Minimization 的校准收益
机器学习
2025-06-02 v1 人工智能
摘要
深度神经网络已越来越多地应用于医疗诊断和自动驾驶等安全关键场景。然而，许多研究表明，它们容易出现校准不良并具有过度自信的倾向，这可能导致灾难性后果。在本文中，与随机梯度下降等标准训练不同，我们表明最近提出的锐度感知最小化（SAM）能够抵消这种过度自信的倾向。理论分析表明，SAM 通过隐式最大化预测分布的熵，使我们能够学习到已经校准良好的模型。受此发现启发，我们进一步提出了 SAM 的一种变体，称为 CSAM，以改善模型校准。在包括 ImageNet-1K 在内的多种数据集上的大量实验证明了 SAM 在减少校准误差方面的优势。同时，CSAM 的表现甚至优于 SAM，并且与其他方法相比，始终取得更低的校准误差。
引用
@article{arxiv.2505.23866,
title = {Towards Understanding The Calibration Benefits of Sharpness-Aware Minimization},
author = {Chengli Tan and Yubo Zhou and Haishan Ye and Guang Dai and Junmin Liu and Zengjie Song and Jiangshe Zhang and Zixiang Zhao and Yunda Hao and Yong Xu},
journal= {arXiv preprint arXiv:2505.23866},
year = {2025}
}
备注
16 pages