Glove2Hand: 多模态传感手套合成自然手-物体交互
计算机视觉与模式识别
2026-03-24 v1 机器人学
摘要
理解手-物体交互(HOI)是计算机视觉、机器人学和AR/VR领域的基础问题。然而, 常规手部视频缺乏诸如接触力和运动信号等关键物理信息, 且易受频繁遮挡。为此, 我们提出Glove2Hand框架, 将多模态传感手套HOI视频翻译为具象真实感的裸手, 同时忠实保留其 underlying 物理交互动力学。我们引入 novel 3D 高斯手模型, 确保时间渲染一致性。渲染手部无缝融合到场景中, 采用基于扩散的手部修复器, 有效处理复杂的手-物体交互和非刚性变形。利用Glove2Hand, 我们创建了HandSense, 首个包含手套到手部视频的多模态HOI数据集, 具备同步触觉和IMU信号。我们表明, HandSense显著提升下游裸手应用, 包括基于视频的接触估计和严重遮挡下的手部跟踪。
引用
@article{arxiv.2603.20850,
title = {Glove2Hand: Synthesizing Natural Hand-Object Interaction from Multi-Modal Sensing Gloves},
author = {Xinyu Zhang and Ziyi Kou and Chuan Qin and Mia Huang and Ergys Ristani and Ankit Kumar and Lele Chen and Kun He and Abdeslam Boularias and Li Guan},
journal= {arXiv preprint arXiv:2603.20850},
year = {2026}
}
备注
CVPR 2026