使用 GPT 对大型文档集合进行抽取式摘要
人工智能
2023-10-10 v1
摘要
本文提出一种抽取式摘要方法，旨在扩展至文档集合而非单个文档。我们的方法结合语义聚类、主题簇内文档尺寸缩减、簇内文档的语义分块、基于 GPT 的摘要与拼接，以及每个主题的情感与文本联合可视化，以支持探索性数据分析。使用 ROGUE 摘要分数将我们的结果与现有 SOTA 系统 BART、BRIO、PEGASUS 和 MoCa 进行统计比较，显示在 CNN/Daily Mail 测试数据集上与 BART 和 PEGASUS 性能统计等价，在 Gigaword 测试数据集上与 BART 性能统计等价。这一发现令人鼓舞，因为我们认为文档集合摘要比单个文档摘要更具挑战性。我们以对规模问题的讨论作结
引用
@article{arxiv.2310.05690,
title = {Abstractive Summarization of Large Document Collections Using GPT},
author = {Sengjie Liu and Christopher G. Healey},
journal= {arXiv preprint arXiv:2310.05690},
year = {2023}
}