MetaGraspNet：基于物理元宇宙合成的大规模场景感知双手通用拣箱基准数据集
计算机视觉与模式识别
2022-08-09 v1 机器人学
摘要
自主拣箱对视觉驱动的机器人系统提出了重大挑战，该问题的复杂性涵盖各种传感器模态、高度纠缠的物体布局、多样的物体属性与夹持器类型。现有方法往往从单一视角解决该问题。多样物体与复杂料箱场景需要多样的拣取策略以及高级推理。因此，构建鲁棒且高效的机器学习算法来解决这一复杂任务，需要大量全面且高质量的数据。在真实世界中收集此类数据过于昂贵且耗时，从可扩展性角度看不可行。为应对这一庞大且多样的数据问题，我们从近期兴起的元宇宙概念获得启发，引入了 MetaGraspNet——一个通过基于物理的元宇宙合成构建的大规模照片级真实拣箱数据集。所提出的数据集包含跨越 82 种不同物品类型的 217k 张 RGBD 图像，带有目标检测、非模态感知、关键点检测、操作顺序以及面向平行夹爪和真空吸盘的双手通用抓取标签的完整标注。我们还提供了一个真实数据集，包含超过 2.3k 张完全标注的高质量 RGBD 图像，分为 5 个难度等级以及一个未见物体集，用于评估不同的物体与布局属性。最后，我们进行了大量实验，表明我们提出的真空密封模型和合成数据集达到了最先进性能，并可泛化到真实世界用例。
引用
@article{arxiv.2208.03963,
title = {MetaGraspNet: A Large-Scale Benchmark Dataset for Scene-Aware Ambidextrous Bin Picking via Physics-based Metaverse Synthesis},
author = {Maximilian Gilles and Yuhao Chen and Tim Robin Winter and E. Zhixuan Zeng and Alexander Wong},
journal= {arXiv preprint arXiv:2208.03963},
year = {2022}
}
备注
Accepted for 2022 IEEE 18th International Conference on Automation Science and Engineering (CASE)