Splat-MOVER：基于可编辑高斯溅射的多阶段、开词汇机器人操控
机器人学
2024-09-30 v4 计算机视觉与模式识别
摘要
我们提出 Splat-MOVER，一个模块化的机器人操控堆栈，利用高斯溅射（GSplat）场景表示的可编辑性，实现多阶段操控任务。Splat-MOVER 包括：（i）ASK-Splat，一种将语义和抓取 affordance 特征浓缩到 3D 场景中的 GSplat 表示。ASK-Splat 实现了 3D 场景的几何、语义和 affordance 理解，这在许多机器人任务中至关重要；（ii）SEE-Splat，一个基于 3D 语义掩码和填充的实时场景编辑模块，用于可视化机器人交互导致的对象运动。SEE-Splat 在操控任务期间创建环境的“数字孪生”；（iii）Grasp-Splat，一个抓取生成模块，利用 ASK-Splat 和 SEE-Splat 为开放世界对象提出符合 affordance 的候选抓取。ASK-Splat 在操作前通过简短的扫描阶段从 RGB 图像中实时训练，而 SEE-Splat 和 Grasp-Splat 在操作期间实时运行。我们在Kinova机器人上的硬件实验表明，Splat-MOVER 在四个单阶段、开词汇操控任务和四个多阶段操控任务上的性能优于两种最近的基线方法。视频演示及项目代码均可访问于 https://splatmover.github.io。
引用
@article{arxiv.2405.04378,
title = {Splat-MOVER: Multi-Stage, Open-Vocabulary Robotic Manipulation via Editable Gaussian Splatting},
author = {Ola Shorinwa and Johnathan Tucker and Aliyah Smith and Aiden Swann and Timothy Chen and Roya Firoozi and Monroe Kennedy and Mac Schwager},
journal= {arXiv preprint arXiv:2405.04378},
year = {2024}
}
备注
https://splatmover.github.io