Logit-KL流匹配：基于抽样混合推断的非自回归文本生成
计算与语言
2026-05-05 v5 机器学习
摘要
非自回归（NAR）语言模型通过规避自回归解码的顺序瓶颈，实现了文本生成的显著效率。然而，在这一范式中准确建模离散序列的依赖关系仍然具有挑战性。在本工作中，我们通过应用基于几何原理插值的条件流匹配（CFM）方法，特别是利用Kullback-Leibler（KL）散度测地线（对应logit空间中的线性插值），推进了NAR生成领域。我们严格建立，最大化该设置下的条件似然恰好恢复流匹配速度场，为该方法在序列建模中提供了理论依据。为解决基本推断的实际性能差距，我们提出一种新型经验抽样策略，该策略迭代去噪和再噪，以及一种混合方案将我们的抽样方法与基本程序集成。在无条件和条件文本及代码填充任务上，我们的方法在匹配设置下超过先前的NAR基线，提高了困惑度和下游指标。
引用
@article{arxiv.2411.16821,
title = {Logit-KL Flow Matching: Non-Autoregressive Text Generation via Sampling-Hybrid Inference},
author = {Egor Sevriugov and Nikita Dragunov and Anton Razzhigaev and Andrey Kuznetsov and Ivan Oseledets},
journal= {arXiv preprint arXiv:2411.16821},
year = {2026}
}