ZipIR：用于高分辨率图像恢复的潜在金字塔扩散Transformer
计算机视觉与模式识别
2025-04-14 v1
摘要
生成模型的最新进展显著提升了图像恢复能力，特别是通过强大的扩散模型，这些模型能够显著恢复语义细节和局部保真度。然而，由于长程注意力机制的计算需求，将这些模型部署到超高分辨率时面临着质量与效率之间的关键权衡。为了解决这个问题，我们引入了ZipIR，一个新颖的框架，它增强了高分辨率图像恢复的效率、可扩展性和长程建模能力。ZipIR采用高度压缩的潜在表示，将图像压缩32倍，有效减少了空间令牌的数量，并使得能够使用高容量模型如扩散Transformer（DiT）。为此，我们提出了一种潜在金字塔VAE（LP-VAE）设计，将潜在空间结构化为子带以简化扩散训练。在高达2K分辨率的完整图像上训练，ZipIR超越了现有的基于扩散的方法，在从严重退化的输入中恢复高分辨率图像时提供了无与伦比的速度和质量。
引用
@article{arxiv.2504.08591,
title = {ZipIR: Latent Pyramid Diffusion Transformer for High-Resolution Image Restoration},
author = {Yongsheng Yu and Haitian Zheng and Zhifei Zhang and Jianming Zhang and Yuqian Zhou and Connelly Barnes and Yuchen Liu and Wei Xiong and Zhe Lin and Jiebo Luo},
journal= {arXiv preprint arXiv:2504.08591},
year = {2025}
}