高斯中的抓取：动态手物交互的快速单目重建
计算机视觉与模式识别
2026-04-15 v1
摘要
我们提出了Grasp in Gaussians (GraG)，一种从单个单目视频中重建动态3D手物交互的快速且鲁棒的方法。与优化重型神经表示的最新方法不同，我们的方法专注于高效地跟踪手和物体，一旦从预训练的大模型初始化。我们的关键见解是，可以使用紧凑的高斯和（SoG）表示来恢复准确且时间稳定的手物运动，该表示从经典跟踪文献中复兴，并与基于生成式高斯的初始化相结合。我们使用视频自适应的SAM3D流水线初始化物体姿态和几何形状，然后通过子采样将生成的密集高斯表示转换为轻量级SoG。这种紧凑表示在保持几何保真度的同时，实现了高效快速的跟踪。对于手部，我们采用互补策略：从现成的单目手部姿态初始化开始，我们使用简单但有效的2D关节和深度对齐损失来细化手部运动，避免了逐帧细化详细的3D手部外观模型，同时保持稳定的关节运动。在公开基准上的大量实验表明，GraG在长序列上重建时间一致的手物交互速度比先前工作快6.4倍，同时将物体重建改进了13.4%，并将手的每关节位置误差降低了超过65%。
引用
@article{arxiv.2604.12929,
title = {Grasp in Gaussians: Fast Monocular Reconstruction of Dynamic Hand-Object Interactions},
author = {Ayce Idil Aytekin and Xu Chen and Zhengyang Shen and Thabo Beeler and Helge Rhodin and Rishabh Dabral and Christian Theobalt},
journal= {arXiv preprint arXiv:2604.12929},
year = {2026}
}
备注
Project page: https://aidilayce.github.io/GraG-page/