ReMix：用于高效 DLLM 推理的拒绝混合掩码标记语义传递
计算与语言
2026-02-27 v1
摘要
扩散大语言模型 (DLLM) 虽然承诺快速非自回归推理，但在并行解码中存在严重的质量-速度权衡。这种现象源于“组合矛盾”，即并行标记形成语义不一致的组合。我们通过将连续表示集成到离散解码过程中来解决此问题，因为连续表示保留了丰富的跨位置依赖性。我们提出 ReMix（Rejection Mixing），一个引入新型连续混合状态的框架，该状态位于初始掩码状态和最终解码标记状态之间。这种中间状态允许标记的表示在连续空间中迭代细化，解决与其他标记之间的相互冲突后再折叠到最终离散样本。此外，一种拒绝规则会将不确定的表示从连续状态恢复到掩码状态进行重新处理，确保稳定性并防止误差传播。因此，ReMix 通过在离散扩散解码期间启用连续空间细化来缓解组合矛盾。大量实验表明，ReMix 作为一种无训练方法，可实现 的推理加速，同时毫无质量退化。
引用
@article{arxiv.2602.22868,
title = {Rejection Mixing: Fast Semantic Propagation of Mask Tokens for Efficient DLLM Inference},
author = {Yushi Ye and Feng Hong and Huangjie Zheng and Xu Chen and Zhiyong Chen and Yanfeng Wang and Jiangchao Yao},
journal= {arXiv preprint arXiv:2602.22868},
year = {2026}
}