一步小步，千里跃：潜在空间快速升频适配器
计算机视觉与模式识别
2025-11-24 v2
摘要
扩散模型在超出训练分辨率方面存在困难，直接的高分辨率采样缓慢且成本高昂，而后置图像超分辨率(ISR)通过在解码后处理引入伪影并增加额外延迟。我们提出了潜在升频适配器(LUA)，是一个轻量级模块，可在最终VAE解码步骤之前对生成器的潜在代码执行超分辨率。LUA作为一个即插即用组件，无需修改基础模型或额外的扩散阶段，即可通过潜在空间中的单次前向传播实现高分辨率合成。基于共享的Swin-style骨干网络，搭配尺度特定的像素shuffle头，支持2x和4x因子，同时与图像空间SR基线兼容，在几乎3倍更低的解码和升频时间下实现可比感知质量（为1024像素从512像素生成仅增加+0.42秒，与使用相同SwinIR架构的像素空间SR为1.87秒）。此外，LUA在不同VAE的潜在空间上表现出强大的泛化能力，无需为每个新解码器从头重新训练即可轻松部署。大量实验表明，LUA在忠实于本机高分辨率生成的同时，为现代扩散管道中的可扩展、高保真图像合成提供了实用且高效的路径。
引用
@article{arxiv.2511.10629,
title = {One Small Step in Latent, One Giant Leap for Pixels: Fast Latent Upscale Adapter for Your Diffusion Models},
author = {Aleksandr Razin and Danil Kazantsev and Ilya Makarov},
journal= {arXiv preprint arXiv:2511.10629},
year = {2025}
}