UniHOPE：面向纯手部与手物姿态估计的统一方法
计算机视觉与模式识别
2025-03-18 v1
摘要
从单目图像中估计手部及潜在手持物体的3D姿态是一项长期存在的挑战。然而，现有方法是特化的，仅专注于裸手或与物体交互的手。没有方法能灵活处理这两种场景，且当应用于另一种场景时性能会下降。在本文中，我们提出了UniHOPE，一种用于通用3D手物姿态估计的统一方法，可灵活适应这两种场景。在技术上，我们设计了一个抓取感知特征融合模块来整合手物特征，并带有物体切换器以根据抓取状态动态控制手物姿态估计。此外，为了提升无论物体是否存在时的手部姿态估计鲁棒性，我们生成逼真的去遮挡图像对来训练模型学习物体引起的手部遮挡，并构建多级特征增强技术以学习遮挡不变特征。在三个常用基准上的大量实验表明，UniHOPE在处理纯手部和手物场景时达到了SOTA性能。代码将发布于 https://github.com/JoyboyWang/UniHOPE_Pytorch。
引用
@article{arxiv.2503.13303,
title = {UniHOPE: A Unified Approach for Hand-Only and Hand-Object Pose Estimation},
author = {Yinqiao Wang and Hao Xu and Pheng-Ann Heng and Chi-Wing Fu},
journal= {arXiv preprint arXiv:2503.13303},
year = {2025}
}
备注
8 pages, 6 figures, 7 tables