及时缝一针省九针：一种用于改进神经网络校准的训练期正则化损失
计算机视觉与模式识别
2022-03-29 v1 人工智能
机器学习
摘要
深度神经网络（DNN）已知会做出过度自信的错误预测，这使其在安全关键应用中的使用存在问题。最先进（SOTA）的校准技术仅改善预测标签的置信度，而令非最大类（如 top-2、top-5）的置信度未校准。此类校准不适用于利用后处理进行标签精修。此外，多数 SOTA 技术事后学习少数超参数，排除了图像或像素特定校准的空间。这使它们不适用于域偏移下的校准，或语义分割等密集预测任务。本文中，我们主张在训练期本身进行干预，以直接产生校准的 DNN 模型。我们提出一种新颖的辅助损失函数：多类置信度与准确率差异（MDCA），以实现该目标；MDCA 可与其他应用/任务特定损失函数结合使用。我们表明，使用 MDCA 训练可在图像分类与分割任务上，依据期望校准误差（ECE）与静态校准误差（SCE）得到更好校准的模型。我们在 CIFAR 100 数据集上报告 ECE（SCE）分数为 0.72（1.60），而 SOTA 为 1.90（1.71）。在域偏移下，使用 MDCA 在 PACS 数据集上训练的 ResNet-18 模型在所有域上的平均 ECE（SCE）分数为 19.7（9.7），而 SOTA 为 24.2（11.8）。对于分割任务，我们报告在 PASCAL-VOC 数据集上相较 Focal Loss 校准误差减少 2 倍。最后，MDCA 训练即使在非平衡数据与自然语言分类任务上也改善校准。我们已在此发布代码：代码见 https://github.com/mdca-loss
引用
@article{arxiv.2203.13834,
title = {A Stitch in Time Saves Nine: A Train-Time Regularizing Loss for Improved Neural Network Calibration},
author = {Ramya Hebbalaguppe and Jatin Prakash and Neelabh Madan and Chetan Arora},
journal= {arXiv preprint arXiv:2203.13834},
year = {2022}
}
备注
Accepted in IEEE Computer Vision and Pattern Recognition 2022