基于 C2F-FAR 与 ChatGPT 的混合式长文档摘要：一项实践研究
计算与语言
2023-06-05 v1
摘要
文本摘要是一项下游自然语言处理（NLP）任务，对语言模型的理解与生成能力提出挑战。在自动摘要短文本（如新闻文章）方面已取得可观进展，常能获得令人满意的结果。然而，长文档摘要仍是一大挑战。这源于文本中复杂的上下文信息，以及缺乏可用于开发和测试模型性能的开源基准数据集与评估框架。在本工作中，我们利用该领域大型语言模型（LLM）的最新突破 ChatGPT，结合抽取式摘要模型 C2F-FAR（Coarse-to-Fine Facet-Aware Ranking，由粗到细方面感知排序），提出一种面向商业文章与书籍等长文档的混合抽取与摘要流水线。我们与世界知名公司 getAbstract AG 合作，借助其在专业图书摘要方面的专业知识与经验。一项实践研究表明，在使用当前自动评估指标进行评价时，机器生成的摘要至少可与人写摘要表现相当。然而，通过人工评估对 ChatGPT 生成的文本进行更仔细考察后发现，其在文本连贯性、忠实度与风格方面仍存在关键问题。总体而言，我们的结果表明，使用 ChatGPT 摘要长文档是一种极具前景但尚不成熟的方法，至多只能作为人类编辑的灵感来源。我们期望本工作能让 NLP 研究者了解 ChatGPT 的长文档摘要能力在多大程度上与从业者的需求相重叠。仍需进一步工作来测试所提出的混合摘要流水线（特别是涉及 GPT-4 的情形），并提出针对长文档摘要任务的新评估框架。
引用
@article{arxiv.2306.01169,
title = {Hybrid Long Document Summarization using C2F-FAR and ChatGPT: A Practical Study},
author = {Guang Lu and Sylvia B. Larcher and Tu Tran},
journal= {arXiv preprint arXiv:2306.01169},
year = {2023}
}