WaveGAN: 用于高保真少样本图像生成的频率感知 GAN
计算机视觉与模式识别
2022-08-10 v2 图像与视频处理
摘要
现有少样本图像生成方法通常采用基于融合的策略,在图像或特征层面融合以生成新图像。然而,以往方法难以合成具有精细细节的高频信号,导致合成质量下降。为此,我们提出 WaveGAN,一种用于少样本图像生成的频率感知模型。具体而言,我们将编码特征解耦为多个频率分量,并采用低频跳跃连接以保留轮廓与结构信息。随后,我们通过引入高频跳跃连接来缓解生成器在合成精细细节上的困难,从而向生成器提供信息丰富的频率信息。此外,我们对生成图像与真实图像施加频率 L1 损失,以进一步阻碍频率信息丢失。大量实验证明了我们的方法在三个数据集上的有效性与先进性。值得注意的是,我们在 Flower、Animal Faces 与 VGGFace 上分别以 FID 42.17、LPIPS 0.3868,FID 30.35、LPIPS 0.5076,以及 FID 4.96、LPIPS 0.3822 取得了新的最优(state-of-the-art)。GitHub: https://github.com/kobeshegu/ECCV2022_WaveGAN
引用
@article{arxiv.2207.07288,
title = {WaveGAN: Frequency-aware GAN for High-Fidelity Few-shot Image Generation},
author = {Mengping Yang and Zhe Wang and Ziqiu Chi and Wenyi Feng},
journal= {arXiv preprint arXiv:2207.07288},
year = {2022}
}
备注
Accepted by ECCV2022, Code Link:https://github.com/kobeshegu/ECCV2022_WaveGAN