DiffER：用于扩散大语言模型中的逆转诅咒的数字实体-关系建模
计算与语言
2026-01-13 v1
摘要
“逆转诅咒”指的是大语言模型（LLM）在处理逻辑上双向关系时表现出单向行为的现象。先前的工作将其归因于自回归训练——预测下一个标记本身就偏好从左到右的信息流程，而非真正的双向知识关联。然而，我们观察到尽管扩散 LLM（DLLM）在训练时采用双向方式，但也会出现逆转诅咒。为调查根本原因，我们对 DLLM 进行系统实验，确定了三个关键原因：1) 训练期间的实体碎片化，2) 数据不对称，3) 缺失实体关系。针对这些原因的分析，我们提出了数字实体-关系建模（DiffER），通过实体感知训练和平衡数据构建来解决逆转诅咒。具体而言，DiffER 引入整体实体掩码，通过单步预测完整实体来缓解实体碎片化问题。DiffER 进一步采用分布对称和关系增强的数据构建策略来缓解数据不对称和缺失关系问题。大量实验表明，DiffER 有效缓解了扩散 LLM 中的逆转诅咒，为未来研究提供了新的视角。
引用
@article{arxiv.2601.07347,
title = {DiffER: Diffusion Entity-Relation Modeling for Reversal Curse in Diffusion Large Language Models},
author = {Shaokai He and Kaiwen Wei and Xinyi Zeng and Xiang Chen and Xue Yang and Zhenyang Li and Jiang Zhong and Yu Tian},
journal= {arXiv preprint arXiv:2601.07347},
year = {2026}
}