基于残差向量量化令牌的高效生成模型
机器学习
2025-06-03 v3
摘要
我们提出了 ResGen，这是一种基于残差向量量化（RVQ）的高效生成模型，能够实现高保真度生成并具备快速采样能力。RVQ 通过增加量化步骤的数量（称为深度）来提高数据保真度，但更深的量化通常会增加生成模型的推理步骤。为此，ResGen 直接预测整体标记的向量嵌入，而非单个标记，从而确保推理步骤与 RVQ 深度无关。此外，我们在离散扩散和变分推断的概率框架内对标记遮蔽和多标记预测进行了形式化。我们在两个具有挑战性的跨模态任务上验证了所提方法的有效性和通用性：在 ImageNet 256x256 上的条件图像生成以及零样本文本到语音合成。实验结果表明，ResGen 在两个任务中均优于自回归方法，在不牺牲采样速度的前提下，实现了卓越的性能。此外，随着 RVQ 深度的增加，我们的生成模型在类似规模的基线模型下，表现出更高的生成保真度或更快的采样速度。
引用
@article{arxiv.2412.10208,
title = {Efficient Generative Modeling with Residual Vector Quantization-Based Tokens},
author = {Jaehyeon Kim and Taehong Moon and Keon Lee and Jaewoong Cho},
journal= {arXiv preprint arXiv:2412.10208},
year = {2025}
}
备注
ICML 2025