超越遮盖：基于删除-插入过程的高效灵活扩散语言模型
计算与语言
2026-03-26 v1 人工智能
摘要
虽然基于遮盖掩码和取消遮盖的遮盖扩散语言模型(MDLM)在语言建模方面显示出前景，但其计算效率和生成灵活性受限于遮盖范式。本文提出删除-插入扩散语言模型(DID)，将令牌删除和插入严格形式化为离散扩散过程，取代当前 MDLM 中的遮盖和取消遮盖过程。DID 通过消除 MDLM 中两个主要计算开销来源：1) 针对非信息性 <MASK> 令牌的计算，2) 在可变长度设置中引入的 <PAD> 令牌，从而提高训练和推理效率。此外，DID 还通过：1) 原生支持可变长度序列，无需固定长度填充，2) 由于插入操作，具备生成时的内在自我纠正机制，能够动态调整令牌位置。为训练 DID，我们设计了一种基于得分的方法，对令牌插入操作赋予得分，并推导出合适的训练目标。该目标涉及子序列计数问题，我们通过并行化动态规划算法高效求解。我们的实验在固定和可变长度设置下均表明，DID 在建模性能、采样质量和训练/推理速度方面优于 MDLM 和现有插入-based LM 的基线，无需任何超参数调优。
引用
@article{arxiv.2603.23506,
title = {Leveraging Computerized Adaptive Testing for Cost-effective Evaluation of Large Language Models in Medical Benchmarking},
author = {Tianpeng Zheng and Zhehan Jiang and Jiayi Liu and Shicong Feng},
journal= {arXiv preprint arXiv:2603.23506},
year = {2026}
}
备注
37 pages, 6 figures