Tilt and Average: 最后一层的几何调整用于重校准
计算机视觉与模式识别
2024-06-17 v1 人工智能
摘要
在神经网络倾向于产生过度自信预测后,校准问题(即将置信度与准确性对齐以增强预测可靠性)获得了重要关注。目前已提出多种基于校准图的方法,以解决使用额外数据集重新校准训练分类器的问题。本文提出了一种不同于基于校准图的方法的算法,通过几何调整分类器的最后一层权重来实现校准。我们关注最终线性层的几何特性,具体为其角度特性,并调整相应层的权重。我们将该方法命名为Tilt and Average (\textsc{Tna}),并通过实证和理论方式验证了其校准效果。通过这一方法,我们展示了除了现有基于校准图的技术之外,我们的方法也能实现更好的校准性能。代码已公开:https://github.com/GYYYYYUUUUU/TNA_Angular_Scaling。
关键词
引用
@article{arxiv.2406.10017,
title = {Tilt and Average : Geometric Adjustment of the Last Layer for Recalibration},
author = {Gyusang Cho and Chan-Hyun Youn},
journal= {arXiv preprint arXiv:2406.10017},
year = {2024}
}
备注
20 pages, 11 figures, to appear in International Conference on Machine Learning (ICML2024)