GRASPLAT：通过新视角合成实现灵巧抓取
机器人学
2025-10-23 v1 计算机视觉与模式识别
摘要
实现多指手臂的灵巧抓取仍然是一个重大挑战。虽然现有方法依赖完整的 3D扫描来预测抓取姿态，但这些方法面临由于获取现实场景中高质量 3D 数据的困难而受限。在本文中，我们引入 GRASPLAT，一种新颖的抓取框架，该框架在仅使用 RGB 图像进行训练的情况下利用一致的 3D 信息。我们的关键洞察是，通过合成手部抓取物体的物理上合理的图像，我们可以回归成功抓取的手部关节。为实现这一点，我们利用 3D 高斯溶解（3D Gaussian Splatting）生成真实手-物体交互的高保真新视角，从而实现与 RGB 数据的端到端训练。与先前方法不同，我们的方法包含一种光度损失，通过最小化渲染图像与真实图像之间的差异来细化抓取预测。我们在合成和真实世界抓取数据集上进行了广泛实验，表明 GRASPLAT 在现有基于图像的方法上提高了最高 36.9% 的抓取成功率。项目页面：https://mbortolon97.github.io/grasplat/
引用
@article{arxiv.2510.19200,
title = {GRASPLAT: Enabling dexterous grasping through novel view synthesis},
author = {Matteo Bortolon and Nuno Ferreira Duarte and Plinio Moreno and Fabio Poiesi and José Santos-Victor and Alessio Del Bue},
journal= {arXiv preprint arXiv:2510.19200},
year = {2025}
}
备注
Accepted IROS 2025