WAIT：基于GAN的特征扭曲用于动画到插画视频翻译

在本文中，我们探索视频到视频翻译的一个新领域。受改编自儿童插画书的动画电影可用的启发，我们旨在用原始插画的风格对这些视频进行风格化。当前最先进的视频到视频翻译模型依赖于使用视频序列或单张风格图像来风格化输入视频。我们引入了一种使用无序图像集合进行视频风格化的新问题。这是一项具有挑战性的任务，原因有二：i) 我们不具备视频序列中那样的时间一致性优势；ii) 与使用单张图像相比，从一组无序图像中为视频帧获得一致的风格更加困难。大多数视频到视频翻译方法构建在图像到图像翻译模型之上，并集成光流或时间预测器等额外网络以捕捉时间关系。这些额外网络使模型训练和推理变得复杂，并拖慢了过程。为确保视频到视频风格迁移中的时间连贯性，我们提出了一种带有特征扭曲层的新型生成器网络，克服了先前方法的局限性。我们在三个数据集上从定性和定量两方面展示了我们方法的有效性。代码和预训练模型可在 https://github.com/giddyyupp/wait 获取。