ResMaster：通过结构与细粒度引导掌握高分辨率图像生成
计算机视觉与模式识别
2024-06-25 v1
摘要
扩散模型在生成高质量图像方面表现优异；然而，当扩展到更高分辨率（如4K）时，常会出现内容过于平滑、结构失真和重复模式的问题。为此，我们引入ResMaster，这是一种新颖的、无需训练的方法，旨在使受分辨率限制的扩散模型能够生成超出分辨率限制的高质量图像。具体而言，ResMaster利用由预训练扩散模型创建的低分辨率参考图像，以提供结构与细粒度引导，基于块级方式构建高分辨率图像。为确保全局结构连贯，ResMaster在每个去噪步骤中细致地将高分辨率图像块的低频分量与低分辨率参考图像对齐。对于细粒度引导，融入基于低分辨率参考图像的定制图像提示以及由视觉语言模型生成的丰富文本提示。这种方法可显著缓解局部模式失真，提高细节细化效果。大量实验表明，ResMaster为高分辨率图像生成树立了新的基准，同时展现了有前景的效率。项目页面为https://shuweis.github.io/ResMaster。
引用
@article{arxiv.2406.16476,
title = {ResMaster: Mastering High-Resolution Image Generation via Structural and Fine-Grained Guidance},
author = {Shuwei Shi and Wenbo Li and Yuechen Zhang and Jingwen He and Biao Gong and Yinqiang Zheng},
journal= {arXiv preprint arXiv:2406.16476},
year = {2024}
}