Stillleben：面向机器人深度学习的逼真场景合成
计算机视觉与模式识别
2020-05-13 v1
摘要
训练数据是深度学习方法的关键要素，但对于机器人学中常遇到的专业领域而言却难以获取。我们描述了一种合成管线，能够为杂乱场景感知任务（如语义分割、目标检测以及对应关系或姿态估计）生成训练数据。我们的方法利用物理模拟，将物体网格排列在物理上逼真的密集场景中。这些排列好的场景使用高质量光栅化进行渲染，并随机化外观与材质参数。相机传感器引入的噪声及其他变换也被进行了模拟。我们的管线可以在深度神经网络训练期间在线运行，从而应用于终身学习以及迭代渲染与比较方法。我们通过在具有挑战性的 YCB-Video 数据集上学习语义分割来证明其可用性，该方法在完全不使用任何真实训练帧的情况下，取得了与传统训练模型相当的性能。此外，我们还展示了其在真实世界重新抓取系统中的成功应用。
引用
@article{arxiv.2005.05659,
title = {Stillleben: Realistic Scene Synthesis for Deep Learning in Robotics},
author = {Max Schwarz and Sven Behnke},
journal= {arXiv preprint arXiv:2005.05659},
year = {2020}
}
备注
Accepted for ICRA 2020