GAPartManip：面向材料无关关节物体操控的大规模部件中心数据集
机器人学
2025-03-24 v2 人工智能
摘要
有效操控家庭场景中的关节物体是实现通用具身人工智能的关键步骤。主流3D视觉研究主要通过深度感知和姿态检测实现操控，但在实际环境中，这些方法常因深度感知不完美（如透明盖板和反光把手）面临挑战。此外，它们缺乏所需的基于部件的交互多样性，以致难以实现灵活且可适应的操控。为此，我们引入了规模化的部件中心数据集，用于关节物体操控，特点是包含照片实写材料随机化及基于部件的、场景级可操作交互姿态详细标注。我们通过将其集成到多个最先进方法中评估数据集有效性，分别用于深度估计和交互姿态预测。此外，我们提出了新型模块化框架，为通用关节物体操控提供卓越且稳健的性能。广泛实验表明，数据集在仿真和实际场景中均显著提升了深度感知和可操作交互姿态预测性能。更多信息与演示可访问：https://pku-epic.github.io/GAPartManip/。
引用
@article{arxiv.2411.18276,
title = {GAPartManip: A Large-scale Part-centric Dataset for Material-Agnostic Articulated Object Manipulation},
author = {Wenbo Cui and Chengyang Zhao and Songlin Wei and Jiazhao Zhang and Haoran Geng and Yaran Chen and Haoran Li and He Wang},
journal= {arXiv preprint arXiv:2411.18276},
year = {2025}
}
备注
Accepted by ICRA 2025. Project page: https://pku-epic.github.io/GAPartManip/