利用第三人称视角增强以自我为中心的 3D 姿态估计
计算机视觉与模式识别
2022-06-16 v3
摘要
在本文中，我们提出一种新方法，用于增强从单个可穿戴相机捕获的视频中计算出的人的 3D 身体姿态估计。其核心思想是在联合嵌入空间中利用连接第一人称与第三人称视角的高层特征。为学习这样的嵌入空间，我们引入了 First2Third-Pose，这是一个近 2000 段配对同步视频的新数据集，描绘了从第一人称和第三人称视角捕获的人类活动。我们明确考虑空间域和运域特征，并使用以自监督方式训练的半孪生（semi-Siamese）架构进行组合。实验结果表明，用我们的数据集学习的联合多视角嵌入空间可用于从任意单视角以自我为中心的视频中提取判别性特征，无需域适应也不需要相机参数知识。我们在两个无约束数据集上，针对三种有监督的最先进（state-of-the-art）方法，实现了以自我为中心的 3D 身体姿态估计性能的显著提升。我们的数据集和代码将可供研究使用。
引用
@article{arxiv.2201.02017,
title = {Enhancing Egocentric 3D Pose Estimation with Third Person Views},
author = {Ameya Dhamanaskar and Mariella Dimiccoli and Enric Corona and Albert Pumarola and Francesc Moreno-Noguer},
journal= {arXiv preprint arXiv:2201.02017},
year = {2022}
}