通过集合自回归模型定制你的视觉自回归配方
计算机视觉与模式识别
2024-10-15 v1
摘要
我们提出一种新的自回归（AutoRegressive, AR）图像生成范式，称为集合自回归建模（Set AutoRegressive Modeling, SAR）。SAR将传统的AR扩展到下一个集合设置，即将序列划分为包含多个标记的任意集合，而非以固定的光栅顺序逐个输出每个标记。为适配SAR，我们开发了一种称为全掩码变换器（Fully Masked Transformer）的简单架构。我们揭示，现有的AR变体对应于SAR框架内序列顺序和输出间隔的特定设计选择，其中AR和掩码AR（MAR）为两个极端实例。值得注意的是，SAR促进了从AR到MAR的无缝过渡，其中中间状态允许训练一个从事因果建模的模型，同时受益于few-step推理和KV缓存加速，从而利用AR和MAR两者的优势。在ImageNet基准上，我们仔细探索了SAR的属性，通过分析序列顺序和输出间隔对性能的影响，以及推理顺序和步数的泛化能力。我们进一步通过训练一个9亿参数的文本到图像模型来验证SAR的潜力，该模型能够合成分辨率任意的照片级图像。我们希望我们的工作可能激发更多对AR基于建模在不同模态上进行探索和应用的热情。
引用
@article{arxiv.2410.10511,
title = {Customize Your Visual Autoregressive Recipe with Set Autoregressive Modeling},
author = {Wenze Liu and Le Zhuo and Yi Xin and Sheng Xia and Peng Gao and Xiangyu Yue},
journal= {arXiv preprint arXiv:2410.10511},
year = {2024}
}
备注
19 pages, 17 figures, 8 tables, github repo: https://github.com/poppuppy/SAR