BitDance：基于二进制标记扩展自回归生成模型

我们提出 BitDance，一个可扩展的自回归 (AR) 图像生成器，其预测二进制视觉标记而非离散码本索引。由于高熵二进制潜在变量，BitDance 使每个标记可表示最多 $2^{256}$ 种状态，实现紧凑且高度表达的离散表示。使用标准分类从如此巨大的标记空间进行采样困难。为解决此问题，BitDance 使用二进制扩散头：而非预测带 softmax 的索引，它采用连续空间扩散生成二进制标记。此外，我们提出 next-patch 扩散，这是一种新的解码方法，可以高精度并行预测多个标记，大幅加快推理速度。在 ImageNet 256x256 上，BitDance 实现了 FID 为 1.24 的最佳 AR 模型成绩。通过 next-patch 扩散，BitDance 在参数仅为 260M（约为 1.4B 参数模型的 5.4 倍）的情况下，超越了使用 1.4B 参数的领先并行 AR 模型，同时实现了 8.7 倍的加速。对于文本到图像生成，BitDance 在大规模多模态标记上进行训练，高效生成高分辨率、逼真的图像，显示出强大的性能和有利的扩展特性。在生成 1024x1024 图像时，BitDance 比以前的 AR 模型实现了 30 倍以上的加速。我们发布代码和模型以促进 AR 基础模型的进一步研究。代码和模型可在 https://github.com/shallowdream204/BitDance 获取。