GaussianGrasper：用于开放词汇机器人抓取的3D语言高斯溅射
机器人学
2024-03-15 v1 计算机视觉与模式识别
摘要
构建能够容纳开放式语言查询的3D场景，是机器人领域的关键 pursuit，尤其在机器人学中尤为重要。这种技术促进机器人基于人类语言指令执行对象操作。为解决这一挑战，一些研究致力于开发嵌入语言的隐式场。然而，隐式场（如NeRF）因需处理大量输入视角进行重建，以及其在推理中的固有低效性而受到限制。因此，我们提出GaussianGrasper，利用3D高斯溅射显式表示场景作为高斯原始值的集合。我们的方法采用有限的RGB-D视图，采用基于砖块的溅射技术创建特征场。特别地，我们提出了高效特征提炼（EFD）模块，该模块采用对比学习高效且准确地提炼来自基础模型的语言嵌入。借助高斯场的重建几何，我们的方法使预训练的抓取模型能够生成碰撞自由的抓取姿态候选。进一步，我们提出了基于法向的抓取模块，用于选择最佳抓取姿态。通过全面的真实世界实验，我们展示GaussianGrasper使机器人能够准确地根据语言指令查询和抓取物体，为语言引导的操纵任务提供了新解决方案。数据和代码可在 https://github.com/MrSecant/GaussianGrasper 获取。
引用
@article{arxiv.2403.09637,
title = {GaussianGrasper: 3D Language Gaussian Splatting for Open-vocabulary Robotic Grasping},
author = {Yuhang Zheng and Xiangyu Chen and Yupeng Zheng and Songen Gu and Runyi Yang and Bu Jin and Pengfei Li and Chengliang Zhong and Zengmao Wang and Lina Liu and Chao Yang and Dawei Wang and Zhen Chen and Xiaoxiao Long and Meiqing Wang},
journal= {arXiv preprint arXiv:2403.09637},
year = {2024}
}