GHOST：基于高斯溅射的快速类目无关手-物体交互重建
计算机视觉与模式识别
2026-03-20 v1
摘要
从单目 RGB 视频中理解真实手-物体交互对于 AR/VR、机器人和具身 AI 至关重要。现有方法依赖类目特定模板或高计算复杂度，仍在 3D 中的手-物体对齐产生物理不一致。我们引入 GHOST（Gaussian Hand-Object Splatting），一个快速、类目无关的框架，用于使用 2D 高斯溅射重建动态手-物体交互。GHOST 将手和物体表示为稠密、视图一致的高斯圆盘，并提出三项关键创新：（1）几何先验检索和一致性损失完成被遮挡的物体区域，（2）抓握感知对齐细化手部平移和物体尺度以确保真实接触，（3）手部感知背景损失防止对手部遮挡的物体区域进行惩罚。GHOST 从单个 RGB 视频中实现完整、物理一致且可动画的重建，速度比先前的类目无关方法快一个数量级。广泛的实验在 ARCTIC、HO3D 和野外数据集上表明，在 3D 重建和 2D 渲染质量方面实现最先进的准确性，使 GHOST 成为高效且稳健的真实手-物体交互建模解决方案。代码可在 https://github.com/ATAboukhadra/GHOST 获取。
引用
@article{arxiv.2603.18912,
title = {GHOST: Fast Category-agnostic Hand-Object Interaction Reconstruction from RGB Videos using Gaussian Splatting},
author = {Ahmed Tawfik Aboukhadra and Marcel Rogge and Nadia Robertini and Abdalla Arafa and Jameel Malik and Ahmed Elhayek and Didier Stricker},
journal= {arXiv preprint arXiv:2603.18912},
year = {2026}
}