2023 年第一视角 3D 手部姿态估计挑战赛冠军方案技术报告：一种用于第一视角手部姿态重建的简洁流程
计算机视觉与模式识别
2023-10-11 v2
摘要
本报告介绍了我们在第一视角 3D 手部姿态估计研讨会上的工作。该挑战赛使用 AssemblyHands，聚焦于从单视角图像进行第一视角 3D 手部姿态估计。在竞赛中，我们采用基于 ViT 的主干网络和一个简单的回归器进行 3D 关键点预测，提供了强大的模型基线。我们注意到手部-物体遮挡与自遮挡会导致性能下降，因此提出了一种在后处理阶段融合多视角结果的非模型方法。此外，我们利用测试时增强与模型集成以进一步提升效果。我们还发现公开数据集与合理的预处理是有益的。我们的方法在测试集上取得了 12.21mm MPJPE，在第一视角 3D 手部姿态估计挑战赛中夺得第一。
引用
@article{arxiv.2310.04769,
title = {1st Place Solution of Egocentric 3D Hand Pose Estimation Challenge 2023 Technical Report:A Concise Pipeline for Egocentric Hand Pose Reconstruction},
author = {Zhishan Zhou and Zhi Lv and Shihao Zhou and Minqiang Zou and Tong Wu and Mochen Yu and Yao Tang and Jiajun Liang},
journal= {arXiv preprint arXiv:2310.04769},
year = {2023}
}