面向真实世界自动驾驶的合成驾驶数据集域适应
计算机视觉与模式识别
2023-02-09 v1
摘要
在开发基于感知的深度学习模型时，合成数据的益处是巨大的。然而，由于合成数据与真实数据之间存在域差距，使用合成数据训练的神经网络在真实世界数据上测试时，某些计算机视觉任务的性能会显著下降。弥合合成数据与真实数据之间差距的流行方案之一是将此问题构建为域适应任务。本文中，我们提出并评估了改进此类方法的新思路。具体而言，我们基于 UNIT-GAN 方法展开。在用于域转换任务的常规 GAN 训练中，来自两个域（即真实域与合成域）的图像是随机配对的。我们提出了一种新方法，将语义监督高效地融入该配对选择过程，从而提升模型性能并改善此类转换图像的视觉质量。我们在 Cityscapes \cite{cityscapes} 和具有挑战性的合成数据集 Synscapes 上展示了我们的实证发现。尽管这些发现基于 UNIT-GAN 的基础网络报道，但它们可轻松推广至任何其他类似网络。
引用
@article{arxiv.2302.04149,
title = {Domain Adaptation of Synthetic Driving Datasets for Real-World Autonomous Driving},
author = {Koustav Mullick and Harshil Jain and Sanchit Gupta and Amit Arvind Kale},
journal= {arXiv preprint arXiv:2302.04149},
year = {2023}
}