用于事后校准的类别级训练损失缩放
机器学习
2023-06-21 v1
摘要
由于类内与类间外观变化的程度不同，类别级训练损失常常出现分化，我们发现这种分化的类别级训练损失会导致预测不可靠且未校准。为解决该问题，我们提出一种新的校准方法来同步类别级训练损失。我们设计了一种新的训练损失，利用多个类别级缩放因子来缓解类别级训练损失的方差。由于我们的框架能够用欠拟合类的训练损失补偿过拟合类的训练损失，整体训练损失得以保持，从而即使在模型校准后也能防止性能下降。此外，我们的方法可轻松用于事后校准方法中，允许我们使用预训练模型作为初始模型，并减少模型校准的额外计算量。我们通过将所提框架应用于多种事后校准方法来验证其有效性，该方法在保持精度的同时普遍改善了校准性能，并且通过研究我们发现，我们的方法在不平衡数据集和未调优超参数下表现良好。
引用
@article{arxiv.2306.10989,
title = {Scaling of Class-wise Training Losses for Post-hoc Calibration},
author = {Seungjin Jung and Seungmo Seo and Yonghyun Jeong and Jongwon Choi},
journal= {arXiv preprint arXiv:2306.10989},
year = {2023}
}
备注
Published at ICML 2023. Camera ready version