中文

Tilt and Average: 最后一层的几何调整用于重校准

计算机视觉与模式识别 2024-06-17 v1 人工智能

摘要

在神经网络倾向于产生过度自信预测后,校准问题(即将置信度与准确性对齐以增强预测可靠性)获得了重要关注。目前已提出多种基于校准图的方法,以解决使用额外数据集重新校准训练分类器的问题。本文提出了一种不同于基于校准图的方法的算法,通过几何调整分类器的最后一层权重来实现校准。我们关注最终线性层的几何特性,具体为其角度特性,并调整相应层的权重。我们将该方法命名为Tilt and Average (\textsc{Tna}),并通过实证和理论方式验证了其校准效果。通过这一方法,我们展示了除了现有基于校准图的技术之外,我们的方法也能实现更好的校准性能。代码已公开:https://github.com/GYYYYYUUUUU/TNA_Angular_Scaling。

关键词

引用

@article{arxiv.2406.10017,
  title  = {Tilt and Average : Geometric Adjustment of the Last Layer for Recalibration},
  author = {Gyusang Cho and Chan-Hyun Youn},
  journal= {arXiv preprint arXiv:2406.10017},
  year   = {2024}
}

备注

20 pages, 11 figures, to appear in International Conference on Machine Learning (ICML2024)