利用仿真与部分监督及共享潜空间进行三维手姿态估计
计算机视觉与模式识别
2018-07-17 v1
摘要
海量昂贵的标注数据是最先进的三维手姿态估计的重要组成部分。因此，合成数据因标注自动可用而被普及。然而，仅用合成样本训练的模型不能泛化到真实数据，主要由于合成与真实数据分布之间的鸿沟。本文提出一种新方法，旨在利用合成数据与部分标注的真实数据预测手的三维位置。据此，我们在三种模态之间构建共享潜空间：合成深度图像、真实深度图像和姿态。我们证明通过精心学习共享潜空间，可以找到能够泛化到真实数据的回归模型。由此，我们展示我们的方法在半监督和无监督设定下均产生准确预测。此外，所提模型能够生成来自全部三个域的新颖、有意义且一致的样本。我们在两个极具竞争力的基准（即 NYU 和 ICVL）上定性定量地评估了我们的方法，并展示了其相对于最先进方法的优越性。源代码将发布于 https://github.com/masabdi/LSPS。
引用
@article{arxiv.1807.05380,
title = {3D Hand Pose Estimation using Simulation and Partial-Supervision with a Shared Latent Space},
author = {Masoud Abdi and Ehsan Abbasnejad and Chee Peng Lim and Saeid Nahavandi},
journal= {arXiv preprint arXiv:1807.05380},
year = {2018}
}
备注
Oral presentation at British Machine Vision Conference (BMVC) 2018