AUGCAL：通过增强合成图像的不确定性校准改进 Sim2Real 自适应
计算机视觉与模式识别
2024-07-31 v3 机器学习
摘要
从模拟器提取的合成数据 (SIM) 已成为一种流行的替代方案，用于在获取带标注的真实世界图像困难时训练模型。然而，由于外观差异，将基于合成图像训练的模型迁移到真实世界应用可能具有挑战性。应对这种 SIM2REAL 差距的常用解决方案是无监督领域自适应，即使用带标签的 SIM 数据和无标签的 REAL 数据训练模型。此类 SIM2REAL 自适应模型产生的错误预测通常与校准错误有关——源于对真实数据的过度自信预测。在本文中，我们引入了 AUGCAL，这是一种用于无监督自适应的简单训练时补丁，通过以下方式改进 SIM2REAL 自适应模型：(1) 减少整体校准错误，(2) 减少错误预测中的过度自信，以及 (3) 通过更好地指导误分类检测来提高置信度分数的可靠性——同时保持或提升 SIM2REAL 性能。给定一个基础的 SIM2REAL 自适应算法，在训练时，AUGCAL 涉及用强增强视图替换普通 SIM 图像（AUG 干预），并额外优化增强 SIM 预测上的训练时校准损失（CAL 干预）。我们通过简要分析论证如何减少无标签 REAL 数据上的校准错误来阐明 AUGCAL 的动机。通过实验，我们实证展示了 AUGCAL 在多种自适应方法、骨干网络、任务和分布偏移上的有效性。
引用
@article{arxiv.2312.06106,
title = {AUGCAL: Improving Sim2Real Adaptation by Uncertainty Calibration on Augmented Synthetic Images},
author = {Prithvijit Chattopadhyay and Bharat Goyal and Boglarka Ecsedi and Viraj Prabhu and Judy Hoffman},
journal= {arXiv preprint arXiv:2312.06106},
year = {2024}
}
备注
Published at ICLR 2024