你视觉自回归模型中始终存在的多样性
计算机视觉与模式识别
2025-11-24 v1
摘要
视觉自回归（VAR）模型最近因其创新的下一尺度预测范式而受到广泛关注，相较于传统的多步自回归（AR）和扩散模型，在推理效率和图像质量方面具有显著优势。然而，尽管具有效率优势，VAR模型常常会出现多样性崩溃，即输出变异性降低，这类似于few-step扩散模型中观察到的现象。本文引入DiverseVAR，这是一个简单且有效的方法，无需额外训练即可恢复VAR模型的生成多样性。我们的分析揭示，特征图是支配早期尺度多样性形成的关键组件。通过抑制模型输入中的关键组件并放大模型输出中的该组件，DiverseVAR有效地释放了VAR模型固有的生成潜力，同时保持高保真合成。实证结果表明，我们的方法仅需可忽略的性能影响，即可显著提升生成多样性。我们的代码将在https://github.com/wangtong627/DiverseVAR上公开发布。
引用
@article{arxiv.2511.17074,
title = {Diversity Has Always Been There in Your Visual Autoregressive Models},
author = {Tong Wang and Guanyu Yang and Nian Liu and Kai Wang and Yaxing Wang and Abdelrahman M Shaker and Salman Khan and Fahad Shahbaz Khan and Senmao Li},
journal= {arXiv preprint arXiv:2511.17074},
year = {2025}
}