面向图像超分辨率的视觉自回归建模
计算机视觉与模式识别
2025-02-03 v1
摘要
图像超分辨率（ISR）因引入卓越生成模型而取得了显著进展。然而，保真度与真实性之间的权衡问题以及计算复杂度也对其应用提出了限制。基于自回归模型在语言领域的巨大成功，我们提出了一种新的面向ISR的视觉自回归建模框架——VARSR，其形式为下一尺度预测。为有效整合并保留低分辨率图像中的语义信息，我们提出使用前缀标记来Incorporate条件。引入尺度对齐旋转位置编码以捕获空间结构，并利用扩散精炼器来建模量化残差损失，以实现像素级保真度。提出基于图像的无条件引导，以引导生成更真实的图像。此外，我们收集了大规模数据并设计了训练流程以获得稳健的生成先验。定性和定量结果表明，VARSR能够比扩散基方法更高效地生成高保真且高真实性的图像。我们的代码将在 https://github.com/qyp2000/VARSR 上发布。
引用
@article{arxiv.2501.18993,
title = {Visual Autoregressive Modeling for Image Super-Resolution},
author = {Yunpeng Qu and Kun Yuan and Jinhua Hao and Kai Zhao and Qizhi Xie and Ming Sun and Chao Zhou},
journal= {arXiv preprint arXiv:2501.18993},
year = {2025}
}
备注
20 pages; 17 figures