ToolFlowNet：通过从点云预测工具流进行带工具的机器人操作
机器人学
2022-11-17 v1
摘要
点云是一种广泛可用且规范的数据模态，可传达场景的 3D 几何信息。尽管从点云进行分类和分割已取得显著进展，但从该模态进行策略学习仍具挑战性，且多数模仿学习的先前工作聚焦于从图像或状态信息学习策略。在本文中，我们提出了一种从点云学习带工具机器人操作策略的新框架。我们使用一种新颖的神经网络 ToolFlowNet，其预测机器人所控制工具上的稠密逐点流，然后利用该流推导机器人应执行的变换。我们将此框架应用于具有工具连续运动的困难可变形物体操作任务（包括舀取和倾倒）的模仿学习，并展示出相较不使用流的基线方法的显著性能提升。我们使用 ToolFlowNet 进行了 50 次实体舀取实验，获得了 82% 的舀取成功率。补充材料见 https://tinyurl.com/toolflownet。
引用
@article{arxiv.2211.09006,
title = {ToolFlowNet: Robotic Manipulation with Tools via Predicting Tool Flow from Point Clouds},
author = {Daniel Seita and Yufei Wang and Sarthak J. Shetty and Edward Yao Li and Zackory Erickson and David Held},
journal= {arXiv preprint arXiv:2211.09006},
year = {2022}
}
备注
Conference on Robot Learning (CoRL), 2022. Supplementary material is available at https://sites.google.com/view/point-cloud-policy/home