鲁棒潜在表示至关重要：利用采样误差合成提升图像生成

当前的图像生成方案通常依赖固定的图像分词器在预构建的潜在空间中捕捉图像分布。尽管分词器的性能对成功生成起着至关重要的作用，但其当前的评估指标（例如 rFID）无法精确评估分词器并将其性能与生成质量（例如 gFID）相关联。本文全面分析了离散潜在空间中重建与生成质量存在差异的原因，并在此基础上提出了一种新颖的即插即用分词器训练方案以促进潜在空间的构建。具体而言，提出了一种潜在扰动方法，以模拟生成过程中采样的噪声，即意外采样的 token。基于潜在扰动，我们进一步提出了 (1) 一种新颖的分词器评估指标，即 pFID，它成功地将分词器性能与生成质量相关联；(2) 一种即插即用的分词器训练方案，显著增强了分词器的鲁棒性，从而提升了生成质量和收敛速度。使用 11 种先进的离散图像分词器和 2 种自回归生成模型进行了广泛的基准测试以验证我们的方法。使用我们提出的潜在扰动训练的分词器在带有无分类器引导 (CFG) 时实现了 1.60 的显著 gFID，在不带 CFG 时实现了 3.45 的 gFID，生成器规模约为 $\sim$400M。代码：https://github.com/lxa9867/ImageFolder。