通过渐进量化缓解早期离散化：面向稳健向量分词
机器学习
2026-03-25 v1
摘要
向量量化 (VQ) 已成为许多多模态大语言模型和扩散合成的分词核心。然而，现有 VQ 范式存在根本性矛盾：它们在编码器捕获数据流形结构之前就强制进行离散化。我们称之为 "早期离散化"。为解决此问题，我们提出渐进量化 (Progressive Quantization, ProVQ)，将量化硬度的动力学作为一种全新的关键轴纳入 VQ 训练。通过将量化视为从连续潜在空间平滑退火到离散空间的课程，ProVQ 有效引导码本向已扩展的流形方向发展。广泛的实验结果表明，ProVQ 在各种模态上均显示出广泛有效性。在 ImageNet-1K 和 ImageNet-100 基准上，我们报告了在恢复质量和生成性能方面的显著提升，凸显 ProVQ 对生成模型的提升作用。此外，ProVQ 在建模复杂生物序列方面同样高度有效，为生物序列结构分词在 StrutTokenBench 排行榜上树立了新的性能标杆。
引用
@article{arxiv.2603.22304,
title = {Mitigating Premature Discretization with Progressive Quantization for Robust Vector Tokenization},
author = {Wenhao Zhao and Qiran Zou and Zhouhan Lin and Dianbo Liu},
journal= {arXiv preprint arXiv:2603.22304},
year = {2026}
}