一致性校准：通过扰动邻居之间的一致性改进不确定性校准
机器学习
2024-10-17 v1 人工智能
计算机视觉与模式识别
摘要
校准是深度学习应用中的关键问题，尤其是在医疗保健和自动驾驶等领域，准确的置信度估计对决策至关重要。然而，深度神经网络常常存在校准不足的问题，可靠图（reliability diagrams）和期望校准误差（ECE）是唯一标准的校准性能评估视角。本文引入了一致性概念作为模型校准的另一视角，灵感来自大型语言模型（LLM）中的不确定性估计文献。我们强调了其相对于传统可靠性观点的优势。基于这一概念，我们提出了一种后验校准方法，称为一致性校准（Consistency Calibration, CC），其依据模型在扰动输入上的一致性来调整置信度。CC在局部不确定性估计方面尤其有效，因为它无需额外的数据样本或标签信息，即可直接从源数据生成输入扰动。此外，我们展示了在logit层级上进行扰动可显著提高计算效率。我们通过与各种后验和训练时间校准方法的广泛比较，验证了CC的有效性，表明其在标准数据集如CIFAR-10、CIFAR-100和ImageNet上，以及长尾数据集如ImageNet-LT上均实现了最先进的性能。
引用
@article{arxiv.2410.12295,
title = {Consistency Calibration: Improving Uncertainty Calibration via Consistency among Perturbed Neighbors},
author = {Linwei Tao and Haolan Guo and Minjing Dong and Chang Xu},
journal= {arXiv preprint arXiv:2410.12295},
year = {2024}
}