ManipulationNet:用于基准化真实机器人操作的基础设施,涵盖物理技能挑战与具身多模态推理
机器人学
2026-03-05 v1
摘要
灵巧操作使机器人能够有目的地改变物理世界,将其从被动观察者变为非结构化环境中的主动智能体。这一能力是物理人工智能的基石。尽管数十年硬件、感知、控制和学习方面的进步,推进通用操作系统的进程仍然碎片化,由于缺乏广泛采用的标准基准测试。核心挑战在于协调现实世界的变动性,与严谨科学评估所需的可重复性和真实性之间的关系。为此,我们引入 ManipulationNet,一个面向机器人灵巧操作的全局基础设施,托管真实世界基准任务。ManipulationNet 通过标准化硬件套件实现可重复的任务 setup,并通过统一的软件客户端实现分布式性能评估,实时递交任务指令并收集基准结果。作为一种持久且可扩展的基础设施,ManipulationNet 将基准任务组织为两个互补轨道:1)物理技能轨道,评估低层物理交互技能;2)具身推理轨道,测试高层推理与多模态 grounding 能力。该设计促进了 interconnected 真实能力网络的系统性增长,为通用机器人灵巧操作铺平了道路。通过大规模实现可比较的真实世界操作研究,ManipulationNet 为衡量长期科学进展和识别已具备实际部署能力的功能奠定了可持续基础。
引用
@article{arxiv.2603.04363,
title = {ManipulationNet: An Infrastructure for Benchmarking Real-World Robot Manipulation with Physical Skill Challenges and Embodied Multimodal Reasoning},
author = {Yiting Chen and Kenneth Kimble and Edward H. Adelson and Tamim Asfour and Podshara Chanrungmaneekul and Sachin Chitta and Yash Chitambar and Ziyang Chen and Ken Goldberg and Danica Kragic and Hui Li and Xiang Li and Yunzhu Li and Aaron Prather and Nancy Pollard and Maximo A. Roa-Garzon and Robert Seney and Shuo Sha and Shihefeng Wang and Yu Xiang and Kaifeng Zhang and Yuke Zhu and Kaiyu Hang},
journal= {arXiv preprint arXiv:2603.04363},
year = {2026}
}
备注
32 pages, 8 figures