面向基于深度的手部姿态估计的增强骨架空间迁移
计算机视觉与模式识别
2018-05-14 v1
摘要
训练基于深度的三维手部姿态估计器（HPE）成功的关键在于具备涵盖多样相机视角、手形及姿态变化的全面数据集。然而，收集此类标注数据集颇具挑战。我们提出通过生成新的数据库条目来补全现有数据库。核心思想是在骨架空间（而非在深度图空间）中合成数据，从而实现简便且直观的数据条目操控。由于以此方式生成的骨架条目没有对应的深度图条目，我们通过训练一个独立的手部姿态生成器（HPG）来利用它们，该生成器从骨架条目合成深度图。通过在单一统一优化框架中训练 HPG 与 HPE，并强制要求：1）HPE 与配对的深度及骨架条目一致；2）HPG-HPE 组合满足通过新生成的未配对骨架观察到的循环一致性（HPG-HPE 的输入与输出均为骨架），我们的算法构建出一个对超出现有数据库覆盖范围的变化具有鲁棒性的 HPE。我们的训练算法采用生成对抗网络（GAN）训练过程。作为副产品，我们得到一个能够挑选出真实手部姿态的手部姿态判别器（HPD）。我们的算法利用该能力在测试时精炼初始骨架估计，进一步提升精度。我们在四个具挑战性的基准数据集（ICVL、MSRA、NYU 和 Big Hand 2.2M 数据集）上测试了算法，并证明我们的方法在定量与定性上均优于或与最先进方法相当。
引用
@article{arxiv.1805.04497,
title = {Augmented Skeleton Space Transfer for Depth-based Hand Pose Estimation},
author = {Seungryul Baek and Kwang In Kim and Tae-Kyun Kim},
journal= {arXiv preprint arXiv:1805.04497},
year = {2018}
}
备注
Accepted to CVPR 2018