用于单目 RGB 弱监督手部姿态估计的自适应 Wasserstein 沙漏网络
计算机视觉与模式识别
2019-09-13 v1 人工智能
摘要
标注训练数据集不足是从单目 RGB 图像进行 3D 手部姿态估计的瓶颈之一。合成数据集拥有大量带精确标注的图像，但其与真实世界数据集的明显差异影响了泛化能力。在二者广泛差异上弥合域间隙的工作甚少。本文提出一种称为自适应 Wasserstein 沙漏（AW Hourglass）的域适应方法，用于弱监督 3D 手部姿态估计，旨在区分合成与真实世界数据集的差异并探索其共性特征（如手部结构）。学习共性特征有助于网络聚焦于与姿态相关的信息。这些特征的相似性使得施加域不变约束更为容易。训练期间，基于从全标注合成数据集学到的共性特征与 3D 姿态之间的关系，借助 2D 标注和深度图像，网络更有利于恢复弱标注真实世界数据集的 3D 姿态。而在测试时，网络以 RGB 为输入预测 3D 姿态。
引用
@article{arxiv.1909.05666,
title = {Adaptive Wasserstein Hourglass for Weakly Supervised Hand Pose Estimation from Monocular RGB},
author = {Yumeng Zhang and Li Chen and Yufeng Liu and Junhai Yong and Wen Zheng},
journal= {arXiv preprint arXiv:1909.05666},
year = {2019}
}