致力于增强抽取式摘要连贯性：数据集与 LLM 实验
计算与语言
2024-07-09 v1 人工智能
摘要
抽取式摘要在自然语言处理中占据重要位置，因其在高效总结多样化内容方面具有广泛应用，而且忠实于原始内容。尽管通过大型语言模型（LLM）在抽取式摘要方面取得了显著进展，但这些摘要经常表现出不连贯的特征。摘要的可读性对于目标用户而言是重要的连贯性方面。虽然已提出许多数据集和基准用于创建连贯的抽取式摘要，但目前没有数据集将用户意图纳入以提高抽取式摘要的连贯性。为此，我们提出了一个系统创建的人类标注数据集，包含连贯摘要以及来自五个公开数据集的自然语言用户反馈，为如何提高抽取式摘要的连贯性提供了宝贵的见解。我们利用该数据集通过监督式微调（supervised fine-tuning）结合自然语言人类反馈来增强 LLM 生成摘要的连贯性。针对 Falcon-40B 和 Llama-2-13B 的初步实验显示，在生成连贯摘要方面性能提升约 10%。我们进一步利用人类反馈对 instruction-tuned 模型（如 FLAN-T5）进行基准测试，结果发现若干有趣的发现。数据和源代码已在 https://github.com/Mihir3009/Extract-AI 上提供。
引用
@article{arxiv.2407.04855,
title = {Towards Enhancing Coherence in Extractive Summarization: Dataset and Experiments with LLMs},
author = {Mihir Parmar and Hanieh Deilamsalehy and Franck Dernoncourt and Seunghyun Yoon and Ryan A. Rossi and Trung Bui},
journal= {arXiv preprint arXiv:2407.04855},
year = {2024}
}
备注
10 pages