DALM：基于三阶段结构化生成的域代数语言模型
计算与语言
2026-04-20 v1 人工智能
摘要
大型语言模型将异构知识压缩到单一的参数空间中，导致不同领域的事实在生成过程中发生干扰。我们提出了 DALM，一种域代数语言模型，它用基于域格的结构化去噪取代了无约束的词元生成。DALM 遵循三阶段生成路径：首先解决域不确定性，然后解决关系不确定性，最后解决概念不确定性，使得每个阶段都在显式的代数约束下运行。该框架仅需三个要素：具有可计算交、并和蕴含运算的域格；控制跨域继承的关系类型化函数；以及将知识局部化到特定域子集的纤维划分。给定这些要素，DALM 产生了一个三阶段的编码器-解码器架构，其中生成被限制在域纤维内，在闭词汇表模式下从结构上防止了跨域污染，在开词汇表模式下可审计地限制了跨域污染，并且单个查询可以产生一个域索引的多视角答案空间。我们使用 CDC 知识表示系统实例化了该框架，并概述了在经过验证的域标注晶体库上的训练和评估。DALM 将语言生成重新构建为代数约束的结构化去噪，而不是在平坦的词元空间上进行无约束解码。
引用
@article{arxiv.2604.15593,
title = {DALM: A Domain-Algebraic Language Model via Three-Phase Structured Generation},
author = {Chao Li},
journal= {arXiv preprint arXiv:2604.15593},
year = {2026}
}