探索 ChatGPT 在查询式或基于方面的文本摘要中的极限
计算与语言
2023-02-17 v1 人工智能
摘要
文本摘要几十年来一直是自然语言处理（NLP）中的一个关键问题。其旨在将冗长文档压缩为更短版本，同时保留最关键的信息。已有多种文本摘要方法被提出，包括抽取式与生成式摘要。像 GPT3 和 ChatGPT 这样的大型语言模型（LLMs）的出现最近引发了使用这些模型执行文本摘要任务的浓厚兴趣。最近的研究已表明，LLMs 生成的新闻摘要已可与人类相媲美。然而，LLMs 在如基于方面或查询的摘要等更实际应用中的性能尚未充分探索。为填补此空白，我们在四个广泛使用的基准数据集上评估了 ChatGPT 的性能，涵盖来自 Reddit 帖子、新闻文章、对话会议和故事的多样摘要。我们的实验显示，ChatGPT 在 Rouge 分数方面与传统微调方法相当。此外，我们强调了 ChatGPT 生成摘要与人类参考之间的一些独特差异，为 ChatGPT 在多样文本摘要任务中的超能力提供了有价值的见解。我们的发现呼吁该领域的新方向，并计划通过广泛的人工评估系统性考察 ChatGPT 生成摘要的特征以开展进一步研究。
引用
@article{arxiv.2302.08081,
title = {Exploring the Limits of ChatGPT for Query or Aspect-based Text Summarization},
author = {Xianjun Yang and Yan Li and Xinlu Zhang and Haifeng Chen and Wei Cheng},
journal= {arXiv preprint arXiv:2302.08081},
year = {2023}
}
备注
Work in progress