面向域偏移学习校准不确定性：一种分布鲁棒学习方法
机器学习
2024-02-07 v4 计算机视觉与模式识别
摘要
我们提出一种在域偏移下学习校准不确定性的框架，其中源（训练）分布不同于目标（测试）分布。我们通过可微密度比估计器检测此类域偏移，并将其与任务网络共同训练，构成考虑域偏移的调整softmax预测形式。特别地，密度比估计反映目标（测试）样本与源（训练）分布的接近程度。我们利用其调整任务网络中预测的不确定性。这种使用密度比的思想基于分布鲁棒学习（DRL）框架，该框架通过对抗风险最小化来考虑域偏移。我们展示所提方法生成的校准不确定性有益于下游任务，如无监督域适应（UDA）和半监督学习（SSL）。在这些任务上，自训练和FixMatch等方法利用不确定性选择置信伪标签进行再训练。我们的实验表明，引入DRL显著提升了跨域性能。我们还展示估计的密度比与人类选择频率一致，表明其与人类感知不确定性的代理呈正相关。
引用
@article{arxiv.2010.05784,
title = {Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach},
author = {Haoxuan Wang and Zhiding Yu and Yisong Yue and Anima Anandkumar and Anqi Liu and Junchi Yan},
journal= {arXiv preprint arXiv:2010.05784},
year = {2024}
}
备注
IJCAI 2023