分析3D手部姿态估计的合成到真实领域鸿沟
计算机视觉与模式识别
2025-03-26 v1
摘要
近期为面部、身体和手部构建的合成3D人类数据集已推动了光照逼真程度的提升。虽然人脸识别和身体姿态估计已能仅凭合成训练数据实现最先进性能，但手部仍面临较大的合成到真实鸿沟。本文首次系统性研究3D手部姿态估计的合成到真实鸿沟。我们分析了鸿沟并确定了关键组件，包括前臂、图像频率统计、手部姿态以及物体遮挡。为便于分析，我们提出了数据合成管道，以合成高质量数据。我们展示，当整合上述识别组件后，合成手部数据可达到与真实数据相同的精度水平，为仅使用合成数据进行手部姿态估计铺平了道路。代码和数据已公开：https://github.com/delaprada/HandSynthesis.git。
引用
@article{arxiv.2503.19307,
title = {Analyzing the Synthetic-to-Real Domain Gap in 3D Hand Pose Estimation},
author = {Zhuoran Zhao and Linlin Yang and Pengzhan Sun and Pan Hui and Angela Yao},
journal= {arXiv preprint arXiv:2503.19307},
year = {2025}
}
备注
Accepted to CVPR2025