用于神经网络校准的期望一致性方法
机器学习
2023-09-07 v2 机器学习
摘要
尽管深度神经网络性能卓越，但已有大量报道指出其往往对预测置信度过于乐观。因此，寻找高效且有效的神经网络校准方法，是深度学习不确定性量化的重要课题。本文提出一种名为期望一致性（EC）的新型校准技术，通过在训练后重新缩放最后一层权重，强制平均验证置信度与平均正确标签比例一致。首先，我们表明 EC 方法在不同神经网络架构和数据集上达到了与温度缩放（TS）相似的校准性能，且所需验证样本和计算资源相当。然而，我们认为 EC 提供了一种基于贝叶斯最优性原理（即 Nishimori 恒等式）的有原则方法。接着，我们在合成设定下对 TS 和 EC 进行渐近刻画，表明其性能关键依赖于目标函数。特别地，我们讨论了 EC 显著优于 TS 的若干例子。
引用
@article{arxiv.2303.02644,
title = {Expectation consistency for calibration of neural networks},
author = {Lucas Clarté and Bruno Loureiro and Florent Krzakala and Lenka Zdeborová},
journal= {arXiv preprint arXiv:2303.02644},
year = {2023}
}