利用外部弱监督估计野外第一视角 3D 人体姿态
计算机视觉与模式识别
2022-01-21 v1
摘要
使用单目鱼眼相机进行第一视角 3D 人体姿态估计近期引起了大量关注。然而，现有方法难以处理来自野外图像的人体姿态估计，因为由于缺乏大规模的野外第一视角数据集，它们只能在合成数据上训练。此外，当身体部位被周围场景遮挡或与之交互时，这些方法容易失败。为解决野外数据短缺问题，我们收集了一个称为野外第一视角姿态（EgoPW）的大规模野外第一视角数据集。该数据集由头戴式鱼眼相机和辅助外部相机捕获，在训练期间提供第三人称视角下对人体额外的观测。我们提出了一种新的第一视角姿态估计方法，其可在具有弱外部监督的新数据集上训练。具体而言，我们首先通过结合外部视角监督的时空优化方法为 EgoPW 数据集生成伪标签。随后伪标签被用于训练一个第一视角姿态估计网络。为促进网络训练，我们提出了一种新颖的学习策略，利用预训练的外部视角姿态估计模型提取的高质量特征来监督第一视角特征。实验表明，我们的方法能从单张野外第一视角图像预测准确的 3D 姿态，并在定量与定性上均优于最先进的方法。
引用
@article{arxiv.2201.07929,
title = {Estimating Egocentric 3D Human Pose in the Wild with External Weak Supervision},
author = {Jian Wang and Lingjie Liu and Weipeng Xu and Kripasindhu Sarkar and Diogo Luvizon and Christian Theobalt},
journal= {arXiv preprint arXiv:2201.07929},
year = {2022}
}