E-CAR：基于多阶段建模的高效连续自回归图像生成

近期，使用连续 token 进行图像生成的自回归模型通过消除离散 token 化的需求，展现出了令人鼓舞的结果。然而，由于其序列化的 token 生成特性和对计算密集型扩散采样的依赖，这些模型面临着效率挑战。我们提出了 ECAR（基于多阶段建模的高效连续自回归图像生成），该方法通过两项交织的创新来解决这些局限性：（1）一种阶段化的连续 token 生成策略，降低了计算复杂度，并提供了逐步细化的 token 图作为分层条件；（2）一种多阶段基于流的分布建模方法，与常规扩散模型中的完全去噪相比，该方法在每个阶段仅转换部分去噪的分布。从整体上看，ECAR 通过在不断增加的分辨率下生成 token，同时在每个阶段对图像进行去噪来运行。这种设计不仅将 token 到图像的转换成本降低了相当于阶段数的倍数，而且还实现了 token 级别的并行处理。我们的方法不仅提高了计算效率，而且通过在连续 token 空间中运行并遵循从粗到细的分层生成过程，自然地契合了图像生成原理。实验结果表明，ECAR 实现了与 DiT Peebles & Xie [2023] 相当的图像质量，同时生成 256$\times$256 图像所需的 FLOPs 减少了 10 倍，速度提升了 5 倍。