GAPartNet：基于可泛化与可操作部件的跨类别域泛化物体感知与操作
计算机视觉与模式识别
2023-03-28 v2
摘要
多年来，研究人员一直致力于可泛化的物体感知与操作，其中跨类别泛化能力备受期待却探索不足。在本工作中，我们提出通过可泛化与可操作部件（Generalizable and Actionable Parts, GAParts）来学习此类跨类别技能。通过在27个物体类别中识别并定义9个GAPart类别（盖子、把手等），我们构建了一个大规模以部件为中心的交互数据集GAPartNet，其中为1,166个物体上的8,489个部件实例提供了丰富的部件级标注（语义、位姿）。基于GAPartNet，我们研究了三项跨类别任务：部件分割、部件位姿估计和基于部件的物体操作。鉴于已见与未见物体类别之间存在显著的域差距，我们从域泛化的角度提出了一种鲁棒的3D分割方法，该方法集成了对抗学习技术。无论是在已见还是未见类别上，我们的方法均大幅优于所有现有方法。此外，利用部件分割和位姿估计结果，我们利用GAPart位姿定义设计了基于部件的操作启发式策略，该策略在模拟器和真实世界中均能很好地泛化到未见物体类别。我们的数据集、代码和演示可在我们的项目页面上获取。
引用
@article{arxiv.2211.05272,
title = {GAPartNet: Cross-Category Domain-Generalizable Object Perception and Manipulation via Generalizable and Actionable Parts},
author = {Haoran Geng and Helin Xu and Chengyang Zhao and Chao Xu and Li Yi and Siyuan Huang and He Wang},
journal= {arXiv preprint arXiv:2211.05272},
year = {2023}
}
备注
To appear in CVPR 2023 (Highlight)