Hand3R:野生环境下的在线 4D 手-场景重建
计算机视觉与模式识别
2026-02-04 v1 人工智能
摘要
对于具身 AI,同时重建动态手和稠密场景上下文对于理解物理交互至关重要。然而,大多数现有方法仅在局部坐标中恢复孤立的手部,忽略周围 3D 环境。为此,我们提出了 Hand3R,首个能够从单目视频中进行联合 4D 手-场景重建的在线框架。Hand3R 通过场景感知视觉提示机制,将预训练的手部专家与 4D 场景基础模型融合。通过将高保真手部先验注入持久化场景记忆,我们的方法能够在单次前向传播中同时重建准确的手部网格和稠密的度量尺度场景几何。实验表明,Hand3R 绕过了离线优化的依赖,在局部手部重建和全局定位方面均表现出竞争力。
引用
@article{arxiv.2602.03200,
title = {Hand3R: Online 4D Hand-Scene Reconstruction in the Wild},
author = {Wendi Hu and Haonan Zhou and Wenhao Hu and Gaoang Wang},
journal= {arXiv preprint arXiv:2602.03200},
year = {2026}
}