从合成数据学习语义分割：一种几何引导的输入-输出适配方法
计算机视觉与模式识别
2019-01-15 v2
摘要
近来，使用合成数据和计算机生成标注训练语义分割模型受到越来越多的关注。然而，域差距仍然是一个主要障碍，阻碍从合成数据学习的模型很好地泛化到真实世界应用。在这项工作中，我们利用合成数据中额外的几何信息——一个强大但很大程度上被忽视的线索——来弥合域差距。这种几何信息可以容易地从合成数据生成，并被证明与语义信息紧密耦合。借助几何信息，我们提出一个模型在两个层面上减少域偏移：在输入层面，我们用额外的几何信息增强传统的图像翻译网络，将合成图像翻译为真实风格；在输出层面，我们构建一个任务网络，在合成数据上同时执行深度估计和语义分割。同时，我们通过在输出空间上的对抗训练鼓励网络保持深度与语义之间的相关性。然后我们在两对合成到真实数据集上验证我们的方法：Virtual KITTI到KITTI，以及SYNTHIA到Cityscapes，与未适配基线和仅使用语义标签的方法相比，我们取得了显著的性能提升。这证明了来自合成数据的几何信息对跨域语义分割的有用性。
引用
@article{arxiv.1812.05040,
title = {Learning Semantic Segmentation from Synthetic Data: A Geometrically Guided Input-Output Adaptation Approach},
author = {Yuhua Chen and Wen Li and Xiaoran Chen and Luc Van Gool},
journal= {arXiv preprint arXiv:1812.05040},
year = {2019}
}
备注
v2: fixed some typos