FouriScale: 基于频域视角的免训练高分辨率图像合成
计算机视觉与模式识别
2024-03-20 v1
摘要
在本研究中，我们深入探讨了基于预训练扩散模型的高分辨率图像生成，并解决了当模型应用于超出其训练分辨率时出现的重复图案和结构扭曲等持续存在的挑战。为解决这一问题，我们从频域分析的角度引入了一种创新的免训练方法 FouriScale。我们通过结合膨胀技术与低通操作来替换预训练扩散模型中的原始卷积层，旨在分别实现不同分辨率下的结构一致性与尺度一致性。通过填充后裁剪策略的进一步增强，我们的方法能够灵活处理各种长宽比的文本到图像生成。以 FouriScale 作为引导，我们的方法成功平衡了生成图像的结构完整性与保真度，实现了任意尺寸、高分辨率及高质量生成的惊人能力。凭借其简单性与兼容性，我们的方法能够为未来超高分辨率图像合成的探索提供有价值的见解。代码将发布于 https://github.com/LeonHLJ/FouriScale。
引用
@article{arxiv.2403.12963,
title = {FouriScale: A Frequency Perspective on Training-Free High-Resolution Image Synthesis},
author = {Linjiang Huang and Rongyao Fang and Aiping Zhang and Guanglu Song and Si Liu and Yu Liu and Hongsheng Li},
journal= {arXiv preprint arXiv:2403.12963},
year = {2024}
}