StableHand：面向自我中心视频世界空间双手运动估计的质量感知流匹配
计算机视觉与模式识别
2026-05-19 v1 人工智能
摘要
从自我中心视频中恢复两只交互手的世界空间 4D 运动是监督机器人策略学习的一项基本能力，其中手腕轨迹跟踪末端执行器，手指关节活动指定抓取姿态。在此设定下出现两个主要挑战：由于头部运动，手频繁长时间离开相机视野；持续的手-物交互导致一只或两只手被严重遮挡。现有方法均匀地以带噪的手部运动观测为条件，而未考虑其逐帧可靠性，导致性能显著下降。我们的核心洞察是，准确的世界空间手部运动估计与逐帧手部观测的质量紧密耦合。为此，我们将从现成手部姿态估计器提取的手部运动观测质量分解为四个通道：双手的手腕全局平移和手指关节活动。我们提出了 StableHand，一个以这四个通道质量信号为条件的质量感知流匹配框架，这些信号由一个学习到的质量网络预测。我们通过逐通道前向调度、质量调整的速度目标、DiT 去噪器的 AdaLN 调制以及质量感知的 ODE 初始化，将质量信号自然地融入流匹配过程。这一统一的生成过程在利用学习到的双手运动先验重建不可靠观测的同时，保留了高质量观测。在 HOT3D 和 ARCTIC 这两个具有长缺失手部跨度和持续手-物遮挡的自我中心基准测试上的实验表明，StableHand 在所有报告的指标上均实现了 SOTA 性能，与最强基线相比 W-MPJPE 降低了 20-25%，在严重遮挡的 ARCTIC 序列上增益最大。
引用
@article{arxiv.2605.18553,
title = {StableHand: Quality-Aware Flow Matching for World-Space Dual-Hand Motion Estimation from Egocentric Video},
author = {Huajian Zeng and Chaohua Yao and Yuantai Zhang and Jiaqi Yang and Rolandos Alexandros Potamias and Xingxing Zuo},
journal= {arXiv preprint arXiv:2605.18553},
year = {2026}
}
备注
Project Page: https://huajian-zeng.github.io/projects/stablehand/