一种面向域偏移鲁棒性的DNN无监督后处理校准新方法
机器学习
2019-11-27 v1 机器学习
摘要
不确定性估计在现实世界决策应用中至关重要，尤其在训练与测试数据之间存在分布偏移时。文献中已提出许多校准方法来改善深度神经网络（DNN）的预测不确定性，这些网络通常校准不良。然而，它们均非专门设计用于域偏移条件下正常工作。本文中，我们提出无监督温度缩放（UTS）作为一种对域偏移鲁棒性的校准方法。它利用无标签测试样本而非训练样本，将深度模型的不确定性预测调整至测试分布。UTS采用一种新颖的损失函数，加权NLL，其允许无监督校准。我们在广泛的模型-数据集组合上评估UTS，以展示无标签校准的可能性，并证明与其他方法（例如TS、MC-dropout、SVI、ensembles）相比，UTS在偏移域中的鲁棒性。
引用
@article{arxiv.1911.11195,
title = {A Novel Unsupervised Post-Processing Calibration Method for DNNS with Robustness to Domain Shift},
author = {Azadeh Sadat Mozafari and Hugo Siqueira Gomes and Christian Gagne},
journal= {arXiv preprint arXiv:1911.11195},
year = {2019}
}