合成知识摄取：提升大语言模型知识精炼与注入能力
计算与语言
2024-10-15 v1 人工智能
信息检索
机器学习
摘要
大语言模型（LLM）在 various 领域擅长捕捉事实知识，但在针对已见过的知识进行精炼或整合来自外部来源的新知识时仍面临重大挑战。本文提出一种新颖的合成知识摄取方法，称为 Ski，利用细粒度合成、交错生成与组装增强策略，从原始知识来源构建高质量数据表示。我们将 Ski 及其变体与三种知识注入技术（检索增强生成（RAG）、监督式微调（SFT）和持续预训练（CPT））集成，用于注入和精炼语言模型中的知识。在金融、生物医药和开放生成领域的多个问答任务上进行大量实验，证明 Ski 通过有效促进知识注入显著优于基线方法。我们认为本工作是提升 LLM 输出事实准确性的重要一步，通过精炼知识表示和注入能力。
引用
@article{arxiv.2410.09629,
title = {Synthetic Knowledge Ingestion: Towards Knowledge Refinement and Injection for Enhancing Large Language Models},
author = {Jiaxin Zhang and Wendi Cui and Yiran Huang and Kamalika Das and Sricharan Kumar},
journal= {arXiv preprint arXiv:2410.09629},
year = {2024}
}
备注
EMNLP 2024 main conference long paper