注意力温度缩放：一种校准深度神经网络的实用方法
机器学习
2019-05-10 v3 机器学习
摘要
近年来，深度神经网络（DNNs）在广泛任务上取得了令人印象深刻的成果。然而，它们存在校准不良的问题。在自主驾驶或医学诊断等决策应用中，深度网络的置信度对系统的可信赖性与可靠性起着重要作用。为校准深度网络的置信度，许多基于概率和度量的方法被提出。温度缩放（TS）是基于度量的校准方法中的最优方法（SOTA），其具有较低的时间和内存复杂度且有效。本文中，我们研究TS并指出当TS用于校准的验证集规模较小或含有噪声标签样本时，它不能正常工作。TS也无法像校准非高精度网络那样校准高精度网络。据此，我们提出注意力温度缩放（ATS），其保留了TS的优势，同时在上述挑战性情形下改善了校准。我们为ATS提供了理论依据，并在广泛的深度模型与数据集上评估了其有效性。我们还以皮肤病变检测应用这一实用问题为例比较了TS与ATS的校准结果，其中良好校准的系统可在决策中发挥重要作用。
引用
@article{arxiv.1810.11586,
title = {Attended Temperature Scaling: A Practical Approach for Calibrating Deep Neural Networks},
author = {Azadeh Sadat Mozafari and Hugo Siqueira Gomes and Wilson Leão and Steeven Janny and Christian Gagné},
journal= {arXiv preprint arXiv:1810.11586},
year = {2019}
}