基于GAN生成手部数据实现单目RGB实时三维手跟踪
计算机视觉与模式识别
2019-03-19 v1
摘要
我们解决了基于单目仅RGB序列的实时三维手跟踪这一极具挑战性的问题。我们的跟踪方法将卷积神经网络与运动学三维手模型相结合，从而能对未见数据良好泛化，对遮挡和变化的相机视角具有鲁棒性，并产生解剖学合理且时间平滑的手部运动。为训练我们的CNN，我们提出了一种基于几何一致的图像到图像翻译网络合成生成训练数据的新方法。具体而言，我们使用一个将合成图像翻译为“真实”图像的神经网络，使得所生成的图像遵循与真实世界手部图像相同的统计分布。为训练该翻译网络，我们将对抗损失和循环一致性损失与几何一致性损失相结合，以在翻译过程中保持几何属性（如手姿态）。我们证明了我们的手跟踪系统在具有挑战性的仅RGB视频上优于当前最先进水平。
引用
@article{arxiv.1712.01057,
title = {GANerated Hands for Real-time 3D Hand Tracking from Monocular RGB},
author = {Franziska Mueller and Florian Bernard and Oleksandr Sotnychenko and Dushyant Mehta and Srinath Sridhar and Dan Casas and Christian Theobalt},
journal= {arXiv preprint arXiv:1712.01057},
year = {2019}
}