面向长尾识别的双分支温度缩放校准
机器学习
2023-08-17 v1
摘要
深度神经网络的校准目前受到广泛关注和研究中。校准不良通常导致模型过度自信。而在数据长尾分布条件下，由于少数类与多数类样本置信度水平不同，校准不良问题更为突出，并会导致更严重的过度自信。为解决该问题，现有一些研究基于温度缩放（TS）方法为不同类别设计了多样的温度系数。然而，在少数类样本稀少的情况下，温度系数不具备泛化性，且训练集与验证集的温度系数差异较大。为应对这一挑战，本文提出双分支温度缩放校准模型（Dual-TS），其同时考虑不同类别温度参数的多样性以及少数类稀有样本温度参数的不可泛化性。此外，我们注意到传统校准评估指标期望校准误差（ECE）对少数类中的低置信度样本赋予更高权重，导致对模型校准的评估不准确。因此，我们还提出等样本分箱期望校准误差（Esbin-ECE）作为新的校准评估指标。通过实验，我们证明我们的模型在传统 ECE 与 Esbin-ECE 指标上均达到最先进水平。
引用
@article{arxiv.2308.08366,
title = {Dual-Branch Temperature Scaling Calibration for Long-Tailed Recognition},
author = {Jialin Guo and Zhenyu Wu and Zhiqiang Zhan and Yang Ji},
journal= {arXiv preprint arXiv:2308.08366},
year = {2023}
}