PartInstruct：面向细粒度机器人操作的部件级指令遵循
机器人学
2025-06-18 v3 人工智能
摘要
细粒度机器人操作（如抬起并旋转瓶子以展示瓶盖上的标签）需要对物体部件及其与预期任务的关系进行稳健推理。尽管近期在由语言指令引导的通用机器人操作策略训练方面取得了进展，但目前仍明显缺乏带有部件级指令的细粒度操作任务大规模数据集，以及标注了部件级标签的多样化 3D 物体实例。在本工作中，我们引入 PartInstruct，这是首个使用部件级指令来训练和评估细粒度机器人操作模型的大规模基准。PartInstruct 包含 14 个类别的 513 个物体实例，每个实例均标注了部件级信息，以及分为 16 个任务类别的 1302 个细粒度操作任务。我们的训练集包含在 3D 模拟器中合成的超过 10,000 条专家演示，每条演示配有一条高级任务指令、一条基于基础部件的技能指令链，以及关于物体及其部件的真值 3D 信息。此外，我们设计了一套全面的测试套件，以评估学习到的策略在新状态、物体和任务上的泛化能力。我们在我们的基准上评估了几种最先进的机器人操作方法，包括端到端视觉语言策略学习和用于机器人操作的双层规划模型。实验结果表明，当前模型难以稳健地将部件概念落实到 3D 空间并预测动作，且在长周期任务中操作物体部件时面临挑战。
引用
@article{arxiv.2505.21652,
title = {PartInstruct: Part-level Instruction Following for Fine-grained Robot Manipulation},
author = {Yifan Yin and Zhengtao Han and Shivam Aarya and Jianxin Wang and Shuhang Xu and Jiawei Peng and Angtian Wang and Alan Yuille and Tianmin Shu},
journal= {arXiv preprint arXiv:2505.21652},
year = {2025}
}