以显著信息引导内容:基于提示的抽象摘要方法
计算与语言
2024-12-04 v2 人工智能
机器学习
摘要
大型语言模型(LLM)通过提示技术可以在多个领域生成流畅的摘要,减少了对摘要应用进行模型训练的需求。然而,构建有效的提示以引导LLM生成具有适当细节水平和写作风格的摘要仍然是一个挑战。本文探索了从源文档中提取显著信息来增强摘要提示的做法。我们展示,向提示中添加关键短语可提高ROUGE F1和召回率,使生成的摘要更类似于参考摘要且更完整。关键短语的数量可控制精确率-召回率之间的权衡。此外,我们的分析揭示,融入短语级显著信息的效果优于词级或句级。然而,针对幻觉的影响并非对所有LLM都积极。为开展此分析,我们引入了关键短语信号提取器(Keyphrase Signal Extractor,简称SigExt),这是一个可微调以提取显著关键短语的轻量级模型。通过使用SigExt,我们在数据集和开源及专有LLM上均能实现一致的ROUGE提升,无需对LLM进行任何定制。我们的发现为构建基于提示的摘要系统中利用显著信息提供了见解。我们在\url{https://github.com/amazon-science/SigExt}发布了代码。
引用
@article{arxiv.2410.02741,
title = {Salient Information Prompting to Steer Content in Prompt-based Abstractive Summarization},
author = {Lei Xu and Mohammed Asad Karim and Saket Dingliwal and Aparna Elangovan},
journal= {arXiv preprint arXiv:2410.02741},
year = {2024}
}
备注
Accepted to EMNLP 2024 Industry Track. Code available at https://github.com/amazon-science/SigExt