面向野外手势到手势翻译的 GestureGAN
计算机视觉与模式识别
2019-07-22 v2
摘要
野外手势到手势翻译是一项具有挑战性的任务，因为手势可具有任意姿态、大小、位置及自遮挡。因此，该任务需要对手势输入源与输出目标之间的映射有高层次理解。为解决这个问题，我们提出一种新颖的手势生成对抗网络（GestureGAN）。GestureGAN 由一个生成器 与一个判别器 组成，其以条件手部图像与目标手部骨架图像作为输入。GestureGAN 显式利用手部骨架信息，并通过两种新损失——颜色损失与循环一致性损失——学习手势到手势的映射。所提出的颜色损失在反向传播梯度时处理了“通道污染”问题。此外，我们提出 Fréchet ResNet 距离（FRD）以评估生成图像的质量。在两个广泛使用的基准数据集上的大量实验表明，所提出的 GestureGAN 在非受限手势到手势翻译任务上达到了最先进的性能。同时，生成的图像质量高且具真实感，可用作数据增强以提升手势分类器的性能。我们的模型与代码可在 https://github.com/Ha0Tang/GestureGAN 获取。
引用
@article{arxiv.1808.04859,
title = {GestureGAN for Hand Gesture-to-Gesture Translation in the Wild},
author = {Hao Tang and Wei Wang and Dan Xu and Yan Yan and Nicu Sebe},
journal= {arXiv preprint arXiv:1808.04859},
year = {2019}
}
备注
9 pages, 7 figures, accepted to ACM MM 2018 as an oral paper, fix typos