GANtruth——一种面向驾驶场景的非配对图像到图像翻译方法
计算机视觉与模式识别
2018-12-06 v1 机器学习
机器学习
摘要
合成图像翻译在自动驾驶交通系统中具有巨大潜力。这归因于数据收集与标注的高昂成本，以及真实世界情境中难以掌控的多样性。非配对图像到图像翻译的主要问题在于该问题的不适定性。在本工作中，我们提出一种约束非配对图像到图像翻译输出空间的新方法。我们假设源域的环境是已知的（例如合成生成），并提议在翻译后的图像上显式强制保留真实标注。我们在保留语义分割、视差和实例分割等真实信息方面进行了实验。我们展示了有力证据，表明我们的方法在将图像从 SYNTHIA 翻译到 Cityscapes 时，相比 SOTA 模型 UNIT 取得了更优性能。生成的图像在人类调查中被视为更真实，并且在用于语义分割的域适应场景时优于 UNIT。
引用
@article{arxiv.1812.01710,
title = {GANtruth - an unpaired image-to-image translation method for driving scenarios},
author = {Sebastian Bujwid and Miquel Martí and Hossein Azizpour and Alessandro Pieropan},
journal= {arXiv preprint arXiv:1812.01710},
year = {2018}
}
备注
32nd Conference on Neural Information Processing Systems (NeurIPS), Machine Learning for Intelligent Transportation Systems Workshop, Montr\'eal, Canada. 2018