PolarNet：用于语言引导机器人操作的 3D 点云方法
机器人学
2023-09-28 v1 计算机视觉与模式识别
摘要
机器人基于自然语言指令理解并执行操作任务的能力是机器人领域的长期目标。用于语言引导操作的主流方法使用 2D 图像表示，其在融合多视角相机和推断精确 3D 位置与关系方面面临困难。为应对这些局限，我们提出了一种基于 3D 点云、用于语言引导操作的策略 PolarNet。它利用精心设计的的点云输入、高效的点云编码器以及多模态 transformer 来学习 3D 点云表示，并将其与语言指令整合以进行动作预测。PolarNet 在 RLBench 基准上开展的多种实验中表现出高效且数据利用率高。在单任务与多任务学习中均优于最先进的 2D 与 3D 方法。它还在真实机器人上取得了有前景的结果。
引用
@article{arxiv.2309.15596,
title = {PolarNet: 3D Point Clouds for Language-Guided Robotic Manipulation},
author = {Shizhe Chen and Ricardo Garcia and Cordelia Schmid and Ivan Laptev},
journal= {arXiv preprint arXiv:2309.15596},
year = {2023}
}
备注
Accepted to CoRL 2023. Project website: https://www.di.ens.fr/willow/research/polarnet/