SNCE：面向大规模离散图像生成的几何感知监督
计算机视觉与模式识别
2026-03-17 v1
摘要
近期离散图像生成的进展表明，扩大 VQ 码本规模可显著提升重构保真度。然而，使用大型 VQ 码本训练生成模型仍具有挑战性，通常需要更大的模型规模和更长的训练计划。在本工作中，我们提出了一种新型训练目标——Stochastic Neighbor Cross Entropy Minimization (SNCE)，以解决大码本离散图像生成器的优化问题。SNCE 不再使用硬性 one-hot 目标进行监督，而是构建一组相邻标记的软类别分布。每个标记分配的概率与其代码嵌入与真实图像嵌入之间的最近距离成正比，从而鼓励模型捕获量化嵌入空间中语义上有意义的几何结构。我们在类别条件 ImageNet-256 生成、大规模文本到图像合成以及图像编辑任务中进行了广泛实验。结果表明，SNCE 在收敛速度和整体生成质量方面均显著优于标准交叉熵目标。
引用
@article{arxiv.2603.15150,
title = {SNCE: Geometry-Aware Supervision for Scalable Discrete Image Generation},
author = {Shufan Li and Jiuxiang Gu and Kangning Liu and Zhe Lin and Aditya Grover and Jason Kuen},
journal= {arXiv preprint arXiv:2603.15150},
year = {2026}
}
备注
21 pages, 4 figures