基于对比非配对翻译的合成到真实域适应
计算机视觉与模式识别
2022-11-18 v2
摘要
深度学习模型在机器人学中的实用性很大程度上取决于训练数据的可用性。人工标注训练数据通常不可行。合成数据是一种可行的替代方案，但存在域差距。我们提出了一种无需人工标注工作的多步骤方法来获取训练数据：从3D物体网格出发，我们使用现代合成流水线生成图像。我们利用最先进的图像到图像翻译方法将合成图像适配到真实域，以学习的方式最小化域差距。该翻译网络从未配对图像训练，即仅需一个未标注的真实图像集合。生成并精炼后的图像随后可用于训练特定任务的深度学习模型。我们还提出并评估了翻译方法的扩展以进一步提升性能，例如基于块(patch)的训练，其缩短了训练时间并增强了全局一致性。我们在两个机器人数据集上评估了我们的方法并证明了其有效性。我们最后对学到的精炼操作给出了见解。
引用
@article{arxiv.2203.09454,
title = {Synthetic-to-Real Domain Adaptation using Contrastive Unpaired Translation},
author = {Benedikt T. Imbusch and Max Schwarz and Sven Behnke},
journal= {arXiv preprint arXiv:2203.09454},
year = {2022}
}