别让它褪色:通过令牌时间步分配保留扩散语言模型中的编辑
计算与语言
2025-10-31 v1 人工智能
摘要
虽然扩散语言模型(DLM)能够进行细粒度精炼,但其实际可控性仍然脆弱。我们识别并形式化地刻画了一个称为“更新遗忘”的核心失效模式,其中均匀且上下文无关的更新会导致令牌级别在时间步上的波动,抹除早期的语义编辑并破坏累积的精炼过程,从而降低流畅性和连贯性。由于这种失效源于均匀且上下文无关的更新,有效的控制需要明确的令牌排序。我们提出了令牌时间步分配(TTA),通过每个令牌的时间步调度实现软性和语义性的令牌排序:关键令牌被早期冻结,而不确定令牌则接受持续精炼。这种基于时间步的排序可以实例化为固定策略或由任务信号驱动的自适应策略,从而支持广泛的精炼策略。由于它纯粹在推理时运行,因此可统一应用于各种DLM,并自然地扩展到多样化的监督源。实验上,TTA提高了可控性和流畅性:在情感控制方面,它实现了超过20%的更高准确率,并且使用不到五分之一的步骤将困惑度几乎减半;在去毒化方面,它降低了最大毒性(12.2对比14.5)和困惑度(26.0对比32.0)。这些结果共同表明,通过时间步分配实现的软化排序是缓解更新遗忘、实现稳定可控的扩散文本生成的关键杠杆。
引用
@article{arxiv.2510.26200,
title = {Don't Let It Fade: Preserving Edits in Diffusion Language Models via Token Timestep Allocation},
author = {Woojin Kim and Jaeyoung Do},
journal= {arXiv preprint arXiv:2510.26200},
year = {2025}
}
备注
Accepted in NeurIPS 2025