基于关键元素指导的小型语言模型微调用于文档摘要
计算与语言
2024-11-20 v3 人工智能
摘要
大型语言模型（LLM）的显著进步实现了高质量的文本摘要。然而，目前只有规模庞大的LLM或需付费的专有LLM才能提供这种能力。为此，易于获取且成本较低的小型LLM（sLLM）得到了广泛研究，但它们常常遗漏关键信息和实体，即相关性低，尤其是在输入文档较长时。因此，我们提出了一种基于关键元素指导的指令微调方法用于摘要生成，称为KEITSum，它识别文档中的关键元素，并指导sLLM生成捕捉这些关键元素的摘要。在对话和新闻数据集上的实验结果表明，采用KEITSum的sLLM确实能提供高质量的摘要，具有更高的相关性和更少的幻觉，可与专有LLM相媲美。
引用
@article{arxiv.2406.04625,
title = {Key-Element-Informed sLLM Tuning for Document Summarization},
author = {Sangwon Ryu and Heejin Do and Yunsu Kim and Gary Geunbae Lee and Jungseul Ok},
journal= {arXiv preprint arXiv:2406.04625},
year = {2024}
}
备注
Interspeech 2024