KoCo：基于知识坐标条件化的语言模型预训练
数值分析
2026-04-15 v1 数值分析
偏微分方程分析
摘要
标准的大型语言模型(LLM)预训练通常将语料库视为展开的标记序列，往往忽视人类天然依赖的真实世界语境。为弥合这一差距，我们引入知识坐标条件化(KoCo)，一种将每个文档映射到三维语义坐标的方法。通过将这些坐标作为文本前缀附加进行预训练，我们旨在为模型提供明确的语境意识，以学习真实世界知识结构中的文档。实验结果表明，KoCo在10个下游任务上显著提升了性能，并将预训练收敛速度提高约30%。此外，我们的分析表明，显式建模知识坐标有助于模型区分稳定事实与噪声，有效缓解了生成输出中的幻觉问题。
引用
@article{arxiv.2604.12396,
title = {Nitsche method for the Stokes-Poisson-Boltzmann equation with Navier slip boundary condition},
author = {Ayush Agrawal and Aparna Bansal and D. N. Pandey},
journal= {arXiv preprint arXiv:2604.12396},
year = {2026}
}