基于反向熵引导的掩码扩散模型轨迹感知后向控制

掩码扩散模型（MDMs）作为一种非自回归范式，已在生成任务中显示出并行解码和双向上下文利用的潜在优势。然而，当前的采样方法依赖于简单置信度启发式方法，忽略了局部决策的长期影响，导致早期幻觉级联为全局不连贯。虽然搜索方法可缓解此问题，但其计算成本为每个步骤的 $O(K)$ 次前向传递。本文提出反向熵引导（Backward-on-Entropy, BoE）控制，一种梯度引导的推理框架，通过单个反向传递近似无限视角 lookahead。我们从轨迹代价函数的一阶展开中形式推导出 Token Influence Score（TIS），证明输入嵌入向量对未来熵的梯度是最小化不确定性的 optimal control 信号。为确保可扩展性，我们引入 \texttt{ActiveQueryAttention}，一种稀疏 adjoint 原语，利用掩码目标的结构来降低反向传递复杂度。BoE 在推理时间尺度上实现了现有 unmasking 方法的 superior Pareto 前沿，表明梯度引导的控制为稳健的非自回归生成提供了数学上原则且高效的路径。我们将发布代码。