超球面潜变量提升连续Token自回归生成

自回归（AR）模型在图像生成方面前景广阔，但连续Token AR变体通常落后于潜变量扩散和掩码生成模型。核心问题在于VAE潜变量中的异质方差，该方差在AR解码过程中被放大，尤其是在无分类器引导（CFG）下，并可能导致方差崩溃。我们提出SphereAR来解决此问题。其核心设计是将所有AR输入和输出——包括CFG之后——约束在固定半径的超球面上（常数 $\ell_2$ 范数），利用超球面VAE。我们的理论分析表明，超球面约束消除了尺度分量（方差崩溃的主要原因），从而稳定了AR解码。在ImageNet生成上的实证结果表明，SphereAR-H（943M）为AR模型设立了新的最先进水平，FID达到1.34。即使在较小规模下，SphereAR-L（479M）达到FID 1.54，SphereAR-B（208M）达到1.92，匹配或超越了更大的基线模型如MAR-H（943M, 1.55）和VAR-d30（2B, 1.92）。据我们所知，这是首个在可比参数规模下以光栅顺序超越扩散和掩码生成模型的纯下一Token AR图像生成器。