稀疏训练，密集生成：高分辨率时序 GAN 的内存高效无监督训练
计算机视觉与模式识别
2020-06-02 v2
摘要
在视频数据集上训练生成对抗网络（GAN）是一项挑战，因为数据集规模庞大且每次观测的复杂度高。一般而言，训练 GAN 的计算成本随分辨率呈指数增长。在本研究中，我们提出一种新颖的内存高效无监督学习高分辨率视频数据集的方法，其计算成本仅随分辨率线性增长。我们通过将生成器模型设计为小型子生成器的堆叠并以特定方式训练模型来实现这一点。我们用各子生成器自身的特定判别器训练之。训练时，我们在每对连续子生成器之间引入一个辅助下采样层，以特定比率降低帧率。该过程可使每个子生成器在不同分辨率层级上学习视频分布。我们也仅需少量 GPU 即可训练一个高度复杂的生成器，其在 inception 分数上远超先前模型。
引用
@article{arxiv.1811.09245,
title = {Train Sparsely, Generate Densely: Memory-efficient Unsupervised Training of High-resolution Temporal GAN},
author = {Masaki Saito and Shunta Saito and Masanori Koyama and Sosuke Kobayashi},
journal= {arXiv preprint arXiv:1811.09245},
year = {2020}
}
备注
Accepted at International Journal of Computer Vision. The source code is available at https://github.com/pfnet-research/tgan2