超越域内场景：鲁棒的密度感知校准
机器学习
2023-07-06 v2 人工智能
摘要
随着深度神经网络日益部署于安全关键应用，校准深度学习模型以产生具有不确定性意识的预测至关重要。尽管现有的事后校准方法在域内测试数据集上取得了令人印象深刻的成果，但它们受限于无法在域偏移与分布外（OOD）场景中给出可靠的不确定性估计。我们旨在通过提出 DAC 来弥合这一差距，这是一种基于 k 近邻（KNN）的保持准确率且密度感知的校准方法。与现有事后方法不同，我们利用分类器的隐藏层作为不确定性相关信息的来源，并研究其重要性。我们表明 DAC 是一种通用方法，可轻易与最先进的事后方法结合。DAC 提升了域偏移与 OOD 下校准性能的鲁棒性，同时保持优异的域内预测不确定性估计。我们证明 DAC 在大量模型架构、数据集与度量上带来持续更好的校准。此外，我们展示 DAC 在近期在海量数据上预训练的大规模神经网络上显著改善了校准。
引用
@article{arxiv.2302.05118,
title = {Beyond In-Domain Scenarios: Robust Density-Aware Calibration},
author = {Christian Tomani and Futa Waseda and Yuesong Shen and Daniel Cremers},
journal= {arXiv preprint arXiv:2302.05118},
year = {2023}
}
备注
In Proceedings of the International Conference on Machine Learning (ICML), 2023. Code available at https://github.com/futakw/DensityAwareCalibration