GraspSplats：基于3D特征碎片的高效操作
机器人学
2024-09-04 v1 计算机视觉与模式识别
机器学习
摘要
机器人能够高效且零样本地抓取物体部件的能力对于实际应用至关重要，近期在视觉语言模型(VLM)方面的进展使其日益普及。为弥合2D到3D表示以支持此类能力之间的鸿沟，现有方法依赖神经场(NeRF)通过可微分渲染或基于点的投影方法。然而，我们表明NeRF不适用于场景变化 due to其隐式性，点基方法在没有渲染优化的情况下对部件定位不准确。为弥补这些问题，我们提出GraspSplats。利用深度监督和新颖的参考特征计算方法，GraspSplats在60秒内生成高质量的场景表示。我们进一步通过显示基于高斯的表示中显式且优化的几何足以原生方式支持(1)实时抓取采样和(2)动态和关节运动物体操作的点跟踪器。通过对Franka机器人进行大量实验，我们证明GraspSplats在多种任务设置下显著优于现有方法。特别是，GraspSplats优于基于NeRF的方法如F3RM和LERF-TOGO，以及2D检测方法。
引用
@article{arxiv.2409.02084,
title = {GraspSplats: Efficient Manipulation with 3D Feature Splatting},
author = {Mazeyu Ji and Ri-Zhao Qiu and Xueyan Zou and Xiaolong Wang},
journal= {arXiv preprint arXiv:2409.02084},
year = {2024}
}
备注
Project webpage: https://graspsplats.github.io/