保持语义与时间一致性的非配对视频到视频翻译

本文研究非配对视频到视频翻译问题。给定源域中的视频，我们的目标是学习目标域中对应视频的条件分布，而无需看到任何成对的对应视频。尽管图像的非配对翻译已取得显著进展，但直接将这些方法应用于输入视频会因额外的时间维度而导致视觉质量低下。具体而言，先前的方法存在语义不一致（即语义标签翻转）和时间闪烁伪影的问题。为缓解这些问题，我们提出了一种由精心设计的生成器和判别器组成的新框架，并配合两个核心目标函数：1）内容保持损失和 2）时间一致性损失。大量定性和定量评估证明了所提方法相对于先前方法的优越性能。我们进一步将我们的框架应用于域适应任务并取得了良好结果。