基于风格和内容信息的一致性引导温度缩放用于域外校准
机器学习
2024-02-26 v1 人工智能
机器学习
摘要
近年来,对深度神经网络在域偏移下鲁棒性的研究兴趣迅速增长。然而,现有工作大多侧重于提高模型的准确性,而非校准性能——而校准性能是可信赖人工智能系统的另一重要要求。温度缩放(TS)是一种保持精度的后验校准方法,已被证明在域内设置中有效,但在域外(OOD)设置中由于事先无法获得未见域的验证集而效果不佳。本文提出了一致性引导温度缩放(CTS),一种新的温度缩放策略,通过提供源域中数据样本之间的相互监督,可以显著增强域外校准性能。受我们观察到源于不一致样本预测的过度自信是域外校准的主要障碍的启发,我们提出从风格和内容两个不同方面考虑一致性来引导缩放过程,这两个方面是在多域设置中能够很好地表示数据样本的关键组成部分。实验结果表明,我们提出的策略优于现有工作,在各种数据集上实现了优越的域外校准性能。这仅通过使用源域即可实现,且不牺牲准确性,使得我们的方案可直接应用于各种可信赖人工智能系统。
引用
@article{arxiv.2402.15019,
title = {Consistency-Guided Temperature Scaling Using Style and Content Information for Out-of-Domain Calibration},
author = {Wonjeong Choi and Jungwuk Park and Dong-Jun Han and Younghyun Park and Jaekyun Moon},
journal= {arXiv preprint arXiv:2402.15019},
year = {2024}
}
备注
Accepted at AAAI-24 (The 38th AAAI Conference on Artificial Intelligence, February 2024)