利用判别性码本先验进行自回归图像生成
计算机视觉与模式识别
2025-08-15 v1
摘要
先进的离散标记基的自回归图像生成系统首先将图像分词为离散标记索引序列（带有码本），随后在自回归范式中建模这些序列。虽然自回归生成模型仅在索引值上进行训练，但包含丰富标记相似性信息的码本先验未被充分利用。近期研究尝试通过对标记进行简单 k 均值聚类来利用此先验，有助于训练带有缩减码本的生成模型。然而，我们揭示了 k 均值聚类在码本特征空间中表现不佳，原因包括标记空间差异和质心距离不准确。本文提出了判别性码本先验提取器（DCPE）作为 k 均值聚类的替代方案，以更有效地挖掘和利用码本中嵌入的标记相似性信息。DCPE 用更合理的基于实例的距离取代常用的基于质心的距离，该距离在标记特征空间中不适用且不准确。通过层次合并技术进一步解决标记空间差异问题，避免高密度区域被分割并聚合低密度区域。大量实验表明，DCPE 是即插即用的技术，能够无缝集成到现有的码本先验基础范式中。凭借提取的判别性先验，DCPE 在 LlamaGen-B 上加快训练速度 42%，并提升最终的 FID 和 IS 指标性能。
引用
@article{arxiv.2508.10719,
title = {Exploiting Discriminative Codebook Prior for Autoregressive Image Generation},
author = {Longxiang Tang and Ruihang Chu and Xiang Wang and Yujin Han and Pingyu Wu and Chunming He and Yingya Zhang and Shiwei Zhang and Jiaya Jia},
journal= {arXiv preprint arXiv:2508.10719},
year = {2025}
}
备注
Submitted to TPAMI