开放词汇的基于部件的抓取
机器人学
2025-09-19 v2
摘要
许多机器人任务需要在特定物体部件处抓取物体，而不是任意抓取，这是超越简单拾取和放置的交互（如人机交互、交接或工具使用）的关键能力。先前的工作要么专注于通用抓取预测，要么专注于任务条件抓取，但没有以开放词汇的方式直接针对物体部件。我们提出了AnyPart，这是一个模块化框架，它统一了开放词汇目标检测、部件分割和6自由度抓取预测，使机器人能够基于自然语言提示抓取任意物体的用户指定部件。我们评估了16种模型组合，并证明性能最佳的组合在杂乱的现实场景中实现了60.8%的抓取成功率，且推理速度比现有方法快60倍。为支持这项研究，我们引入了一个新的基于部件抓取的数据集，并进行了详细的失败分析。我们的核心见解是，模块化地组合现有基础模型，无需额外训练即可为开放词汇的基于部件抓取解锁出令人惊讶的强大且高效的能力。
引用
@article{arxiv.2406.05951,
title = {Open-Vocabulary Part-Based Grasping},
author = {Tjeard van Oort and Dimity Miller and Will N. Browne and Nicolas Marticorena and Jesse Haviland and Niko Suenderhauf},
journal= {arXiv preprint arXiv:2406.05951},
year = {2025}
}