MASC：通过流形对齐语义聚类提升自回归图像生成
计算机视觉与模式识别
2025-10-07 v1 人工智能
机器学习
摘要
自回归（AR）模型在图像生成中展现出巨大的潜力，但其核心组件——庞大且非结构化的视觉词汇表——导致其面临根本性的效率问题。这种传统方法将词汇表视为平坦结构，忽视了词汇嵌入空间中词汇间内在结构——即相近性往往与语义相似性相关。这种疏忽导致高度复杂的预测任务，阻碍训练效率并限制最终生成质量。为解决此问题，我们提出了流形对齐语义聚类（MASC），一个原则性的框架，从词汇表的内在结构中构建分层语义树。MASC 采用一种新颖的几何感知距离度量和基于密度的层次聚类构建，建模词汇嵌入的底层流形。通过将平坦的、高维的预测任务转化为结构化的、分层的预测任务，MASC 引入了有益的归纳偏置，显著简化了 AR 模型的学习问题。MASC 设计为即插即用模块，广泛的实验验证了其有效性：它将训练加速最高可达 57%，显著提升生成质量，将 LlamaGen-XL 的 FID 从 2.87 降至 2.58。MASC 将现有的 AR 框架提升至与最新方法高度竞争的水平，确立了对预测空间进行结构化处理与架构创新同样关键于可扩展生成建模的重要性。
引用
@article{arxiv.2510.04220,
title = {MASC: Boosting Autoregressive Image Generation with a Manifold-Aligned Semantic Clustering},
author = {Lixuan He and Shikang Zheng and Linfeng Zhang},
journal= {arXiv preprint arXiv:2510.04220},
year = {2025}
}