PetsGAN：重新思考单图像生成的先验
计算机视觉与模式识别
2022-03-04 v1 机器学习
摘要
单图像生成（SIG）被描述为生成与给定单幅图像具有相似视觉内容的多样化样本，由 SinGAN 首次提出，其构建了一个 GAN 金字塔以渐进式学习单幅图像的内部块分布。它在广泛的图像操控任务中也展现出巨大潜力。然而，SinGAN 的范式在生成质量和训练时间方面存在局限。首先，由于缺乏高层信息，SinGAN 不能像处理场景和纹理图像那样处理好物体图像。其次，分离的渐进式训练方案耗时且易导致伪影累积。为解决这些问题，本文深入探究 SIG 问题，并通过充分利用内部与外部先验来改进 SinGAN。本文的主要贡献包括：1）我们向 SIG 引入一个正则化隐变量模型。据我们所知，这是首次给出 SIG 的清晰公式与优化目标，且现有所有 SIG 方法均可视为该模型的特例。2）我们设计了一种新颖的基于先验的端到端训练 GAN（PetsGAN）以克服 SinGAN 的问题。我们的方法摆脱了耗时的渐进式训练方案，可端到端训练。3）我们构建了丰富的定性与定量实验，以表明我们的方法在生成图像质量、多样性及训练速度上的优越性。此外，我们将方法应用于其他图像操控任务（如风格迁移、协调化），结果进一步证明了方法的有效性与高效性。
引用
@article{arxiv.2203.01488,
title = {PetsGAN: Rethinking Priors for Single Image Generation},
author = {Zicheng Zhang and Yinglu Liu and Congying Han and Hailin Shi and Tiande Guo and Bowen Zhou},
journal= {arXiv preprint arXiv:2203.01488},
year = {2022}
}
备注
AAAI 2022 (oral)