将语言生成视为最优控制：潜在控制空间中的闭环扩散
计算与语言
2026-05-18 v2
摘要
这项工作将语言生成重新表述为随机最优控制问题，提供了一个统一的理论视角来分析自回归和扩散模型，并从轨迹奇异性、伴随状态消失和梯度缺失的组合角度解释了它们的局限性（效率-保真悖论、不可逆误差传播、优化可处理性与保真度）。为了解决这些问题，我们近似求解 Hamilton-Jacobi-Bellman (HJB) 方程，产生一个作为闭环控制器的最优策略。为了绕过直接求解 HJB PDE 的不可处理性，我们在校正后的潜在控制空间内采用 Flow Matching 作为最优轨迹求解器。这使得我们带有全局积分算子的 Manta-LM 能够近似全局矢量场，有效地实现了一个同时具备高保真文本生成和高效、低成本并行采样的模型。在经验上，我们的方法在语言建模和条件生成任务上取得了强劲的性能，同时展现出更好的稳定性、效率和可控性。
引用
@article{arxiv.2605.14531,
title = {Language Generation as Optimal Control: Closed-Loop Diffusion in Latent Control Space},
author = {ZiYi Dong and Yuliang Huang and Weijian Deng and Xiangyang Ji and Liang Lin and Pengxu Wei},
journal= {arXiv preprint arXiv:2605.14531},
year = {2026}
}