面向机器人操作的原语驱动式路径点感知世界模型
机器人学
2024-10-17 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
语言引导的机器人操作是一项具有挑战性的任务，需要具身智能体遵循抽象的用户指令来完成各种复杂的操作任务。以往的工作仅简单拟合数据，未揭示指令与低级可执行动作之间的关系，这些模型容易记忆数据的表面模式，而无法获取可迁移的知识，从而对动态环境变化极其脆弱。为此，我们提出了一种针对机器人操作的原语驱动式路径点感知世界模型（PIVOT-R），其仅关注于任务相关路径点的预测。具体而言，PIVOT-R由路径点感知世界模型（WAWM）和轻量级动作预测模块组成。前者执行原语动作解析和原语驱动路径点预测，而后者专注于解码低级动作。此外，我们还设计了一个异步层次执行器（AHE），该执行器可以使用于模型不同模块的不同执行频率，从而帮助模型减少计算冗余并提高模型执行效率。在SeaWave基准测试中，PIVOT-R相对于最先进（SOTA）开源模型实现了在四个指令任务水平上的平均相对改进19.45%。此外，与同步执行的PIVOT-R相比，采用AHE的PIVOT-R执行效率提升了28倍，仅有2.9%的性能下降。这些结果为PIVOT-R显著提升机器人操作的性能和效率提供了有说服力的证据。
引用
@article{arxiv.2410.10394,
title = {PIVOT-R: Primitive-Driven Waypoint-Aware World Model for Robotic Manipulation},
author = {Kaidong Zhang and Pengzhen Ren and Bingqian Lin and Junfan Lin and Shikui Ma and Hang Xu and Xiaodan Liang},
journal= {arXiv preprint arXiv:2410.10394},
year = {2024}
}
备注
Accepted to NeurIPS 2024