基于 ChatGPT 的抽取式摘要以实现忠实摘要生成
计算与语言
2023-10-11 v2
摘要
抽取式摘要是自然语言处理中的关键任务，旨在通过直接抽取句子将长文档压缩为更短版本。大语言模型（LLM）近期的引入因其在广泛下游任务上的卓越表现而吸引了 NLP 社区的重大关注。本文首先对 ChatGPT 在抽取式摘要上的表现进行了透彻评估，并在多个基准数据集上与传统微调方法进行比较。我们的实验分析表明，相较于现有监督系统，ChatGPT 在 ROUGE 分数方面的抽取式摘要表现较差，而基于 LLM 的评估指标下则取得更高性能。此外，我们探索了上下文学习与时序推理（chain-of-thought）对其性能提升的有效性。进而，我们发现对 ChatGPT 应用先抽取后生成的流程，在摘要忠实性方面相较生成式基线取得显著性能提升。这些观察指出了利用两阶段方法增强 ChatGPT 忠实摘要能力的潜在方向。
引用
@article{arxiv.2304.04193,
title = {Extractive Summarization via ChatGPT for Faithful Summary Generation},
author = {Haopeng Zhang and Xiao Liu and Jiawei Zhang},
journal= {arXiv preprint arXiv:2304.04193},
year = {2023}
}
备注
Findings of EMNLP 2023