面向通用机器人操作的 ManiFoundation 模型：基于接触合成的任意对象与机器人操作
机器人学
2024-09-26 v2 人工智能
摘要
为显著提升机器人智能，亟需开发一种大型模型，使通用机器人能够像 LLM 那样在广泛的操纵任务中展现出灵活的任务规划能力。对象、机器人及操纵任务的种类繁多为此带来了巨大挑战。我们的工作引入了一个全面的框架，用于开发通用机器人操纵的基础模型，将操纵任务形式化为接触合成。具体而言，该模型以对象和机器人机械臂的点云、对象物理属性、目标运动以及操纵区域掩码为输入，输出对象上的接触点以及与之对应的接触力或接触后运动，使机器人实现所需的操纵任务。我们在仿真和实际环境中进行了大量实验，操纵的对象包括一维对象（如绳子）、二维 对象（如布料）以及三维 对象（如塑料料）。本模型实现了约为 的平均成功率。补充材料和视频可在项目网站 https://manifoundationmodel.github.io/ 上获取。
引用
@article{arxiv.2405.06964,
title = {ManiFoundation Model for General-Purpose Robotic Manipulation of Contact Synthesis with Arbitrary Objects and Robots},
author = {Zhixuan Xu and Chongkai Gao and Zixuan Liu and Gang Yang and Chenrui Tie and Haozhuo Zheng and Haoyu Zhou and Weikun Peng and Debang Wang and Tianrun Hu and Tianyi Chen and Zhouliang Yu and Lin Shao},
journal= {arXiv preprint arXiv:2405.06964},
year = {2024}
}