通过 g 层对神经网络进行事后校准
机器学习
2022-02-22 v2 计算机视觉与模式识别
机器学习
摘要
神经网络的校准是在将机器学习模型纳入现实世界决策系统时必须考虑的关键方面，其中决策的可信度与决策本身同等重要。近年来，关于神经网络校准的研究激增，且大多数工作可归类为事后校准方法，即定义为学习一个附加函数以校准已训练好的基网络的方法。在本工作中，我们旨在从理论视角理解事后校准方法。特别地，已知若达到全局最优，最小化负对数似然（NLL）将在训练集上得到校准的网络（Bishop, 1994）。然而，以事后方式学习一个附加函数是否能在理论意义上带来校准尚不清楚。为此，我们证明即使基网络（）未达 NLL 的全局最优，通过添加附加层（）并优化 的参数最小化 NLL，也可获得校准的网络 。这不仅提供了获得校准网络的更宽松条件，也为事后校准方法提供了理论依据。我们在多个图像分类基准上的实验证实了该理论。
引用
@article{arxiv.2006.12807,
title = {Post-hoc Calibration of Neural Networks by g-Layers},
author = {Amir Rahimi and Thomas Mensink and Kartik Gupta and Thalaiyasingam Ajanthan and Cristian Sminchisescu and Richard Hartley},
journal= {arXiv preprint arXiv:2006.12807},
year = {2022}
}