重新审视现代神经网络的校准
机器学习
2021-10-27 v2 计算机视觉与模式识别
摘要
预测不确定性（模型校准）的准确估计对于神经网络的安全应用至关重要。已有许多关于现代神经网络失校准的报道，暗示一种趋势：更新、更准确的模型产生校准不良的预测。本文针对近期最先进的图像分类模型重新审视该问题。我们系统性地关联模型校准与准确率，发现最新模型（尤其是那些不使用卷积的模型）校准最佳。先前模型代中观察到的趋势（如随分布偏移或模型规模增大而校准退化）在近期架构中不那么明显。我们还表明，模型规模和预训练量不能完全解释这些差异，说明架构是校准性质的主要决定因素。
引用
@article{arxiv.2106.07998,
title = {Revisiting the Calibration of Modern Neural Networks},
author = {Matthias Minderer and Josip Djolonga and Rob Romijnders and Frances Hubis and Xiaohua Zhai and Neil Houlsby and Dustin Tran and Mario Lucic},
journal= {arXiv preprint arXiv:2106.07998},
year = {2021}
}
备注
35th Conference on Neural Information Processing Systems (NeurIPS 2021)