NFIG: 基于频率排序的多尺度自回归图像生成
计算机视觉与模式识别
2025-10-21 v5 人工智能
摘要
自回归模型在图像生成领域取得了显著成功。然而，与频域中图像信息固有的层次结构不同，标准自回归方法通常以固定的空间顺序逐像素生成。为了更好地利用这种频谱层次结构，我们提出了 NextFrequency Image Generation (NFIG)。NFIG 是一个新颖的框架，将图像生成过程分解为多个频率引导的阶段。NFIG 将生成过程与自然图像结构相对齐。它首先生成低频分量，以显著更少的 token 高效捕捉全局结构，然后逐步添加高频细节。这种频率感知范式具有显著优势：它不仅提高了生成图像的质量，而且通过在早期高效建立全局结构，关键性地降低了推理成本。在 ImageNet-256 基准上的大量实验验证了 NFIG 的有效性，表现出优越的性能（FID: 2.81），并且与强基线 VAR-d20 相比实现了显著的 1.25 倍加速。源代码可在 https://github.com/Pride-Huang/NFIG 获取。
引用
@article{arxiv.2503.07076,
title = {NFIG: Multi-Scale Autoregressive Image Generation via Frequency Ordering},
author = {Zhihao Huang and Xi Qiu and Yukuo Ma and Yifu Zhou and Junjie Chen and Hongyuan Zhang and Chi Zhang and Xuelong Li},
journal= {arXiv preprint arXiv:2503.07076},
year = {2025}
}
备注
10 pages, 7 figures, 2 tables