ResAdapter：面向扩散模型的域一致分辨率适配器
计算机视觉与模式识别
2025-03-11 v2
摘要
文本到图像模型（如 Stable Diffusion）及相关个性化技术（如 DreamBooth 和 LoRA）的最新进展，使得个人能够生成高质量且富有想象力的图像。然而，在生成超出其训练域分辨率的图像时，它们常常受到限制。为了克服这一限制，我们提出了分辨率适配器，这是一种为扩散模型设计的域一致适配器，用于生成不受限制分辨率和宽高比的图像。与通过复杂的后处理操作处理静态分辨率图像的其他多分辨率生成方法不同，ResAdapter 直接以动态分辨率生成图像。特别是，在学习了对纯分辨率先验的深刻理解后，在通用数据集上训练的 ResAdapter 能够使用个性化扩散模型生成无分辨率限制的图像，同时保留其原始风格域。综合实验表明，仅有 0.5M 参数的 ResAdapter 即可为任意扩散模型处理灵活分辨率的图像。更多扩展实验表明，ResAdapter 与其他模块（如 ControlNet、IP-Adapter 和 LCM-LoRA）兼容，可在多种分辨率下生成图像，并可集成到其他多分辨率模型（如 ElasticDiffusion）中以高效生成更高分辨率的图像。项目链接为 https://res-adapter.github.io
引用
@article{arxiv.2403.02084,
title = {ResAdapter: Domain Consistent Resolution Adapter for Diffusion Models},
author = {Jiaxiang Cheng and Pan Xie and Xin Xia and Jiashi Li and Jie Wu and Yuxi Ren and Huixia Li and Xuefeng Xiao and Min Zheng and Lean Fu},
journal= {arXiv preprint arXiv:2403.02084},
year = {2025}
}
备注
Accepted by AAAI 2025