RoboCook：基于多样工具的弹塑性物体长时序操作
机器人学
2023-10-19 v2
摘要
人类通过灵活使用工具在复杂的长时序软体操作任务中表现出色：烤面包需要用刀切面团并用擀面杖将其压平。工具使用常被视为人类认知的标志，但由于理解工具-物体交互的挑战，自主机器人中的工具使用仍然有限。本文我们开发了一个智能机器人系统 RoboCook，它可感知、建模并用各种工具操作弹塑性物体。RoboCook 使用点云场景表示，以图神经网络（GNNs）建模工具-物体交互，并将工具分类与自监督策略学习相结合以制定操作规划。我们证明，仅利用每种工具 20 分钟的真实交互数据，通用机械臂即可学习诸如包饺子和制作字母饼干等复杂长时序软物体操作任务。大量评估表明，RoboCook 大幅优于当前最优（state-of-the-art）方法，对严重外部扰动具有鲁棒性，并展现出对不同材料的适应性。
引用
@article{arxiv.2306.14447,
title = {RoboCook: Long-Horizon Elasto-Plastic Object Manipulation with Diverse Tools},
author = {Haochen Shi and Huazhe Xu and Samuel Clarke and Yunzhu Li and Jiajun Wu},
journal= {arXiv preprint arXiv:2306.14447},
year = {2023}
}
备注
Project page: https://hshi74.github.io/robocook/