通过 KILO 解决 LLM 分布迁移问题：知识指令式持续适应
计算与语言
2025-08-06 v1 机器学习
摘要
大型语言模型（LLMs）常因遗忘效应在面对领域迁移时表现下降。本文提出 KILO（Knowledge-Instructed Learning for Continual Adaptation），一种集成动态知识图谱与指令调优的新型持续学习框架。通过利用检索到的领域特定知识作为训练指导，KILO 增强了对新领域的适应性以及对先前已学习知识的保留能力。我们在 WikiText-103 上进行预训练，并在四个多样化目标领域上评估顺序适应：BioASQ、SciQ、TweetEval 和 MIND。我们的实验表明，KILO 在后向迁移、前向迁移、F1 分数、保留率和训练效率等方面 consistently 优于强基线，包括持续微调、ERNIE 2.0 和 CPT。这些结果凸显了将结构化知识检索与指令提示相结合以克服持续学习情景中领域迁移挑战的有效性。
引用
@article{arxiv.2508.03571,
title = {Tackling Distribution Shift in LLM via KILO: Knowledge-Instructed Learning for Continual Adaptation},
author = {Iing Muttakhiroh and Thomas Fevens},
journal= {arXiv preprint arXiv:2508.03571},
year = {2025}
}