通过自监督学习时序相干性的基于GAN的视频生成
计算机视觉与模式识别
2020-05-22 v4 机器学习
摘要
我们的工作探索了基于GAN的视频生成任务中的时序自监督。尽管对抗训练已成功地为多个领域产出生成模型，但生成数据中的时序关系却很少被探究。自然的时序变化对序列生成任务（如视频超分辨率与非配对视频翻译）至关重要。对于前者，最先进的方法通常偏好如这类更简单的范数损失而非对抗训练。然而，其平均特性易导致时序平滑却缺乏空间细节的结果。对于非配对视频翻译，现有方法修改生成器网络以形成时空循环一致性。相反，我们聚焦于改进学习目标并提出了一种时序自监督算法。对两项任务，我们均表明时序对抗学习是在不牺牲空间细节的前提下获得时序相干解的关键。我们还提出一种新颖的Ping-Pong损失以改善长时时序一致性。它有效防止循环网络随时间累积伪影而不抑制细节特征。此外，我们提出了一组首批用于定量评估时序演化的准确性及感知质量的指标。一系列用户研究证实了由这些指标计算出的排序。代码、数据、模型与结果见 https://github.com/thunil/TecoGAN。项目页 https://ge.in.tum.de/publications/2019-tecogan-chu/ 包含补充材料。
引用
@article{arxiv.1811.09393,
title = {Learning Temporal Coherence via Self-Supervision for GAN-based Video Generation},
author = {Mengyu Chu and You Xie and Jonas Mayer and Laura Leal-Taixé and Nils Thuerey},
journal= {arXiv preprint arXiv:1811.09393},
year = {2020}
}
备注
Project page: https://ge.in.tum.de/publications/2019-tecogan-chu/, code link: https://github.com/thunil/TecoGAN