PixelFolder：一种高效的渐进式像素合成图像生成网络
计算机视觉与模式识别
2022-07-28 v4 图像与视频处理
摘要
像素合成是一种有前景的图像生成研究范式，能充分利用像素级先验知识进行生成。然而，现有方法仍受困于过大的内存占用与计算开销。本文提出一种面向高效图像生成的渐进式像素合成网络，称为 PixelFolder。具体而言，PixelFolder 将图像生成建模为渐进式像素回归问题，并通过多阶段结构合成图像，可大幅降低大张量变换带来的开销。此外，我们引入新颖的像素折叠操作，在保持像素级先验知识以支持端到端回归的同时进一步提升模型效率。借助这些创新设计，我们极大降低了像素合成的资源消耗，例如与最新像素合成方法 CIPS 相比减少了 89% 的计算量与 53% 的参数量。为验证方法，我们在 FFHQ 与 LSUN Church 两个基准数据集上进行了充分实验。实验结果表明，以远更少的消耗，PixelFolder 在两个基准数据集上取得了新的最先进（SOTA）性能，即在 FFHQ 与 LSUN Church 上分别为 3.77 FID 与 2.45 FID。同时，PixelFolder 也比 StyleGAN2 等 SOTA 方法更高效，分别减少约 72% 计算量与 31% 参数量。这些结果有力验证了所提 PixelFolder 的有效性。
引用
@article{arxiv.2204.00833,
title = {PixelFolder: An Efficient Progressive Pixel Synthesis Network for Image Generation},
author = {Jing He and Yiyi Zhou and Qi Zhang and Jun Peng and Yunhang Shen and Xiaoshuai Sun and Chao Chen and Rongrong Ji},
journal= {arXiv preprint arXiv:2204.00833},
year = {2022}
}
备注
Accepted by ECCV2022. The code is available at https://github.com/BlingHe/PixelFolder