通过源域准备增强视觉域适应
计算机视觉与模式识别
2023-06-21 v1 人工智能
机器人学
摘要
在诸如低光照场景等多样化领域中的机器人感知——其中热成像和专用夜视传感器等新型模态正日益被采用——仍然是一项挑战。这在很大程度上是由于标注数据的有限可用性。现有的域适应（Domain Adaptation, DA）技术虽然有望利用现有光照良好RGB图像的标签，却未能考虑源域自身的特性。我们整体性地考量这一因素，提出源域准备（Source Preparation, SP）方法，以减轻源域偏差。我们的几乎无监督域适应（Almost Unsupervised Domain Adaptation, AUDA）框架——一种面向机器人场景的标签高效半监督方法——采用源域准备（SP）、无监督域适应（Unsupervised Domain Adaptation, UDA）以及基于有限标注数据的有监督对齐（Supervised Alignment, SA）。我们引入CityIntensified，这是一个由高灵敏度相机与增像器相机在时间上对齐捕获的图像对组成的新数据集，用于低光照环境下的语义分割与目标检测。我们展示了我们的方法在语义分割中的有效性，实验表明SP在一系列视觉域上增强了UDA，相较基线mIoU提升高达40.64%，同时使目标模型对目标域内的真实世界偏移更具鲁棒性。我们表明AUDA是一种标签高效的域适应框架，仅利用来自目标域的数十个标注样本即可显著提升目标域性能。
引用
@article{arxiv.2306.10142,
title = {Enhancing Visual Domain Adaptation with Source Preparation},
author = {Anirudha Ramesh and Anurag Ghosh and Christoph Mertz and Jeff Schneider},
journal= {arXiv preprint arXiv:2306.10142},
year = {2023}
}