通过物理基结构光合成数据关闭 Sim2real 差距
计算机视觉与模式识别
2024-07-18 v1 人工智能
摘要
尽管深度学习取得了显著进展，但其在工业机器人项目中仍受限，主要受数据获取与标注困难的制约。以往的基于域随机化的 Sim2real 方法需要大量的场景与模型优化。为解决此问题，本文引入一种创新的物理基结构光模拟系统，生成 RGB 图像与物理上真实的深度图像，超越了以往的数据集生成工具。我们构建了针对机器人工业抓取场景的 RGBD 数据集，并在多项任务上进行评估，包括目标检测、实例分割以及将 Sim2real 视觉感知嵌入工业机器人抓取。通过缩小 Sim2real 差距并提升深度学习训练效果，我们促进了深度学习模型在工业场景中的应用。项目细节可在 https://baikaixinpublic.github.io/structured light 3D synthesizer/ 查阅。
引用
@article{arxiv.2407.12449,
title = {Close the Sim2real Gap via Physically-based Structured Light Synthetic Data Simulation},
author = {Kaixin Bai and Lei Zhang and Zhaopeng Chen and Fang Wan and Jianwei Zhang},
journal= {arXiv preprint arXiv:2407.12449},
year = {2024}
}
备注
7 pages, 2024 IEEE International Conference on Robotics and Automation