Gt-Margin：基于真实 grounding 的掩码扩散语言模型的遮盖顺序学习
计算与语言
2026-02-11 v1
摘要
掩码扩散语言模型（MDLMs）通过逐步填充被遮盖的标记生成文本，在每一步需要做两个相互关联的决定：要遮盖哪些位置（where-to-unmask）以及放置哪些标记（what-to-unmask）。虽然标准 MDLM 训练直接优化标记预测（what-to-unmask），但推理时的遮盖顺序（where-to-unmask）通常由启发式置信度措施或通过昂贵的 on-policy 滚动训练来确定。为此，我们引入 Gt-Margin，这是一个由真实标记派生的、基于位置的得分，定义为正确标记与其最强备选方案之间的概率间隔。Gt-Margin 产生一个将较易位置置于优先次序的 oracle 遮盖顺序。我们展示，利用这一 oracle 遮盖顺序显著增强最终生成质量，特别是在逻辑推理基准测试中。基于这一洞察，我们通过学习到排序来训练一个监督式遮盖计划器，以模仿遮盖上下文中的 oracle 顺序。 resulting planner integrates into standard MDLM sampling to select where-to-unmask, improving reasoning accuracy without modifying the token prediction model.
关键词
引用
@article{arxiv.2602.09501,
title = {Where-to-Unmask: Ground-Truth-Guided Unmasking Order Learning for Masked Diffusion Language Models},
author = {Hikaru Asano and Tadashi Kozuno and Kuniaki Saito and Yukino Baba},
journal= {arXiv preprint arXiv:2602.09501},
year = {2026}
}
备注
15 pages, 6 figures