HaMuCo：基于多视角协同自监督学习的手部姿态估计
计算机视觉与模式识别
2023-08-16 v2
摘要
近期 3D 手部姿态估计的进展已展现出有前景的结果，但其有效性主要依赖于大规模标注数据集的可用性，而此类数据集的创建繁琐且昂贵。为缓解对标签的需求限制，我们提出一种自监督学习框架 HaMuCo，从多视角伪 2D 标签中学习单视角手部姿态估计器。然而，自监督学习的主要挑战之一是存在噪声标签以及来自多视角的“群体思维”效应。为克服这些问题，我们引入一种跨视角交互网络，利用跨视角相关特征蒸馏单视角估计器，并强制多视角一致性以实现协同学习。单视角估计器与跨视角交互网络以端到端方式联合训练。大量实验表明，我们的方法在多视角自监督手部姿态估计上可达到 SOTA 性能。此外，所提出的跨视角交互网络也可应用于多视角输入的手部姿态估计，并在相同设定下优于先前方法。
引用
@article{arxiv.2302.00988,
title = {HaMuCo: Hand Pose Estimation via Multiview Collaborative Self-Supervised Learning},
author = {Xiaozheng Zheng and Chao Wen and Zhou Xue and Pengfei Ren and Jingyu Wang},
journal= {arXiv preprint arXiv:2302.00988},
year = {2023}
}
备注
Accepted to ICCV 2023. Won first place in the HANDS22 Challenge Task 2. Project page: https://zxz267.github.io/HaMuCo