RoboCraft：利用图网络学习感知、模拟并塑形弹塑性物体
机器人学
2022-05-09 v1 人工智能
摘要
建模和操作弹塑性物体是机器人执行复杂工业和家庭交互任务（例如包饺子、卷寿司和制作陶器）的基本能力。然而，由于弹塑性物体的高自由度，在机器人操作流水线的几乎每个方面都存在重大挑战，例如表示状态、建模动态和合成控制信号。我们提出在基于模型的规划框架中采用基于粒子的表示来处理这些挑战。我们的系统 RoboCraft 仅假设可获取原始 RGBD 视觉观测。它将感知数据转换为粒子，并使用图神经网络（GNNs）学习基于粒子的动态模型以捕获底层系统的结构。学习到的模型随后可与模型预测控制（MPC）算法结合以规划机器人行为。我们通过实验表明，仅使用 10 分钟真实世界机器人交互数据，我们的机器人可以学习一个动态模型，用于合成控制信号将弹塑性物体变形为各种目标形状，包括机器人此前从未遇到的形状。我们在仿真和真实世界中进行了系统评估，以展示机器人的操作能力以及泛化到更复杂动作空间、不同工具形状和混合运动模式的能力。我们还在仿真和真实世界中进行了 RoboCraft 与未经训练的人类受试者控制夹爪操作可变形物体的比较。我们学习的基于模型的规划框架在测试任务上可与人类受试者媲美，有时甚至优于人类受试者。
引用
@article{arxiv.2205.02909,
title = {RoboCraft: Learning to See, Simulate, and Shape Elasto-Plastic Objects with Graph Networks},
author = {Haochen Shi and Huazhe Xu and Zhiao Huang and Yunzhu Li and Jiajun Wu},
journal= {arXiv preprint arXiv:2205.02909},
year = {2022}
}
备注
Accepted by Robotics: Science and Systems 2022; Project page: http://hxu.rocks/robocraft/