连续潜在生成的快速自回归模型
计算机视觉与模式识别
2025-04-28 v1 机器学习
摘要
自回归模型在序列数据生成中取得了显著成功，尤其是在NLP 领域，但其向连续域图像生成的扩展面临着显著挑战。最近的工作——掩码自回归模型（MAR）通过建模连续空间中的每个 token 分布来规避量化问题，但由于迭代去噪过程的高计算成本，推理速度较慢。为此，我们提出快速自回归模型（FAR），一种新型框架，用轻量级 shortcut head 替代MAR的扩散 head，实现高效few-step 采样，同时保持自回归原则。此外，FAR可无缝集成到因果Transformer中，将其从离散token 生成扩展到连续token 生成，无需架构修改。实验表明，FAR 比 MAR 快 ，同时保持竞争的 FID 和 IS 分数。本工作建立了面向高保真连续空间图像生成的第一个高效自回归范式，弥合了视觉自回归建模中质量与可扩展性之间的关键鸿沟。
引用
@article{arxiv.2504.18391,
title = {Fast Autoregressive Models for Continuous Latent Generation},
author = {Tiankai Hang and Jianmin Bao and Fangyun Wei and Dong Chen},
journal= {arXiv preprint arXiv:2504.18391},
year = {2025}
}