RISE：3D感知使真实世界机器人模仿简单而有效
机器人学
2024-09-11 v3
摘要
精确的机器人操作需要模仿学习中的丰富空间信息。基于图像的策略从固定相机中建模物体位置，这对相机视角变化敏感。利用3D点云的策略通常预测关键帧而非连续动作，这在动态和接触密集场景中造成困难。为了高效利用3D感知，我们提出了RISE，一个用于真实世界模仿学习的端到端基线，它直接从单视角点云预测连续动作。它使用稀疏3D编码器将点云压缩为令牌。在添加稀疏位置编码后，使用Transformer对令牌进行特征化。最后，通过扩散头将特征解码为机器人动作。在每项真实世界任务中使用50个演示进行训练，RISE大幅超越了当前代表性的2D和3D策略，在准确性和效率上均展现出显著优势。实验还表明，与之前的基线相比，RISE对环境变化更具通用性和鲁棒性。项目网站：rise-policy.github.io。
引用
@article{arxiv.2404.12281,
title = {RISE: 3D Perception Makes Real-World Robot Imitation Simple and Effective},
author = {Chenxi Wang and Hongjie Fang and Hao-Shu Fang and Cewu Lu},
journal= {arXiv preprint arXiv:2404.12281},
year = {2024}
}
备注
IROS 2024