RiEMann：无需点云分割的近实时SE(3)等变机器人操作
机器人学
2024-10-04 v2 人工智能
摘要
我们提出了RiEMann，一个从场景点云输入到端到端近实时SE(3)等变机器人操作的模仿学习框架。与以前依赖描述符场匹配的方法相比，RiEMann直接预测物体以供操作的目标位姿，而无需任何物体分割。RiEMann从5到10次演示中从头学习操作任务，泛化到未见过的SE(3)变换和目标物体实例，抵抗干扰物体的视觉干扰，并跟随目标物体的近实时位姿变化。RiEMann的可扩展动作空间便于添加自定义等变动作，例如转动水龙头的方向，这使得RiEMann能够进行铰接物体操作。在仿真和现实世界的6自由度机器人操作实验中，我们在5个类别的操作任务（共25个变体）上测试了RiEMann，并表明RiEMann在任务成功率和预测位姿的SE(3)测地距离误差（降低了68.6%）方面均优于基线，并实现了每秒5.4帧（FPS）的网络推理速度。代码和视频结果可在 https://riemann-web.github.io/ 获取。
引用
@article{arxiv.2403.19460,
title = {RiEMann: Near Real-Time SE(3)-Equivariant Robot Manipulation without Point Cloud Segmentation},
author = {Chongkai Gao and Zhengrong Xue and Shuying Deng and Tianhai Liang and Siqi Yang and Lin Shao and Huazhe Xu},
journal= {arXiv preprint arXiv:2403.19460},
year = {2024}
}