基于姿态引导的野外单图像人体动画生成

我们提出一种新的姿态迁移方法，用于由单张人物图像结合一系列身体姿态序列合成人体动画。现有姿态迁移方法在应用于新场景时会出现明显的视觉伪影，导致时间不一致以及无法保持人物身份与纹理。为克服这些局限，我们设计了一个组合式神经网络，用于预测轮廓、服装标签与纹理。每个模块化网络明确致力于可从合成数据学习的子任务。在推理时，我们利用训练好的网络在UV坐标中生成外观及其标签的统一表示，该表示在不同姿态下保持恒定。该统一表示为响应姿态变化生成外观提供了不完整却强有力的引导。我们使用训练好的网络补全外观并与背景渲染。借助这些策略，我们能够在无需对测试场景微调网络的情况下，以时间一致的方式合成保持人物身份与外观的人体动画。实验表明，我们的方法在合成质量、时间连贯性与泛化能力方面优于现有最优方法(state-of-the-arts)。