KSOD：大语言模型的按需知识补充
计算与语言
2025-03-11 v1 人工智能
机器学习
摘要
大语言模型（LLM）在各种任务中展现了卓越的能力，但在特定领域任务中仍会产生错误。为进一步提升其性能，我们提出了 KSOD（Knowledge Supplement for LLMs On Demand，大语言模型的按需知识补充），这是一种利用基于知识的监督微调（SFT）来增强 LLM 能力的新框架。KSOD 从知识匮乏的视角分析错误原因，通过识别 LLM 中可能导致错误的潜在缺失知识来进行。随后，KSOD 在知识数据集上微调一个知识模块，并基于此验证 LLM 是否缺乏所识别的知识。若经证实，KSOD 使用该知识模块向 LLM 补充所识别的知识。基于特定知识而非特定任务微调 LLM，实现了任务与知识的解耦。我们在两个特定领域基准和四个通用基准上的实验实证表明，KSOD 提升了 LLM 在需要补充知识的任务上的性能，同时保持了其在其他任务上的表现。我们的发现揭示了基于知识的 SFT 提升 LLM 能力的潜力。
引用
@article{arxiv.2503.07550,
title = {KSOD: Knowledge Supplement for LLMs On Demand},
author = {Haoran Li and Junfeng Hu},
journal= {arXiv preprint arXiv:2503.07550},
year = {2025}
}