方向感知的对角自回归图像生成
计算机视觉与模式识别
2025-04-17 v2 人工智能
摘要
光栅序的图像 token 序列在换行处使得索引相邻的 token 之间存在显著的欧几里得距离，这使其不适用于自回归生成。为解决这一问题，本文提出了方向感知的对角自回归图像生成（DAR）方法，该方法按照对角扫描顺序生成图像 token。所提出的对角扫描顺序确保了索引相邻的 token 保持空间上的邻近，同时使因果注意力能够从更广泛的方向收集信息。此外，引入了两个方向感知模块：4D-RoPE 和方向嵌入，增强了模型处理生成方向频繁变化的能力。为利用图像 tokenizer 的表征能力，我们使用其码本作为图像 token 嵌入。我们提出了从 485M 到 2.0B 不同规模的模型。在 256256 ImageNet 基准上，我们的 DAR-XL (2.0B) 优于以往所有的自回归图像生成器，实现了 1.37 的 SOTA FID 分数。
引用
@article{arxiv.2503.11129,
title = {Direction-Aware Diagonal Autoregressive Image Generation},
author = {Yijia Xu and Jianzhong Ju and Jian Luan and Jinshi Cui},
journal= {arXiv preprint arXiv:2503.11129},
year = {2025}
}