LanPose：面向机器人装配的语言指令式六维物体位姿估计
机器人学
2023-10-24 v1
摘要
理解自然语言指令是机器人与人类有效协作的关键能力。本文旨在通过学习自然语言指令来实现机器人装配的六维位姿估计。为此，提出语言指令式六维位姿回归网络（LanPose），联合预测被观测物体的六维位姿及相应装配位置。我们所提方法基于几何与语言特征的融合，通过交叉注意力机制与语言融合的六维位姿映射模块，将多模态输入精细整合并映射至 SE(3) 空间中的六维位姿。为验证方法有效性，搭建了集成机器人系统，可通过语言指令精确稳健地感知、抓取、操控并装配积木。在 ADD(-S)-0.1d 指标下，六维物体位姿与六维装配位姿的预测结果分别为 98.09 和 93.55。定量与定性结果均表明，我们所提语言指令式六维位姿估计方法有效，并具备使机器人更好理解与执行自然语言指令的潜力。
引用
@article{arxiv.2310.13819,
title = {LanPose: Language-Instructed 6D Object Pose Estimation for Robotic Assembly},
author = {Bowen Fu and Sek Kun Leong and Yan Di and Jiwen Tang and Xiangyang Ji},
journal= {arXiv preprint arXiv:2310.13819},
year = {2023}
}
备注
8 pages