基于类别无关条件图的自然场景手势到手势转换

近期的工作表明，生成对抗网络（GAN）在图像到图像转换中尤为有效。然而，在身体姿态和手势转换等任务中，现有方法通常需要精确的标注（例如关键点或骨架），这非常耗时。在本工作中，我们提出了一种新颖的 GAN 架构，将所需的标注解耦为类别标签（指定手势类型）和易于绘制的类别无关条件图（表示手势的位置、旋转和大小）。我们的架构在合成目标手势的同时保留了背景上下文，从而有效处理自然场景下的手势转换。为此，我们使用了注意力模块和滚动引导方法，将生成的图像循环回网络中，与竞争工作相比生成了更高质量的图像。因此，我们的 GAN 学习从简单的标注生成新图像，而无需关键点或骨架标签。在两个公开数据集上的结果表明，我们的方法在定量和定性上均优于现有方法。据我们所知，目前尚无工作通过要求用户友好的标注来解决自然场景下的手势到手势转换问题。