AdaFocal：感知校准的自适应 Focal Loss

近期大量工作致力于解决确保神经网络置信度分数与正确真实概率相匹配的问题，即校准问题。值得注意的是，研究发现使用 focal loss 训练比交叉熵带来更好的校准性，同时达到相似的准确率水平\cite{mukhoti2020}。这一成功源于 focal loss 对模型预测的熵进行正则化（由参数 $\gamma$ 控制），从而抑制模型的过度自信。若对每个训练样本独立选择 $\gamma$（样本依赖的 Focal Loss (FLSD-53) \cite{mukhoti2020}），有望进一步改进。然而，FLSD-53 基于启发式方法，泛化性不佳。本文提出一种称为 AdaFocal 的感知校准的自适应 focal loss，它利用 focal（及逆 focal）loss 的校准特性，并基于前一步的 $\gamma_{t-1}$ 以及模型在验证集上欠/过度自信的信息，为不同样本组自适应地调整 $\gamma_t$。我们在多种图像识别任务和一项 NLP 任务上评估 AdaFocal，涵盖广泛的网络架构，以确认在校准性上的提升同时保持相似的准确率水平。此外，我们表明使用 AdaFocal 训练的模型在分布外检测上取得显著提升。