通过盲审评审员与文本分类算法比较 ChatGPT 生成的抽取式摘要与真实摘要
计算与语言
2023-08-29 v3
摘要
大型语言模型（LLMs）因其在多种任务上的出色表现而备受关注。由 OpenAI 开发的 ChatGPT 是语言模型家族的最新成员，因其类人文本生成能力而被一些人称为颠覆性技术。尽管互联网上已有许多评估 ChatGPT 优缺点的事例，但系统的研究寥寥无几。为丰富 ChatGPT 系统研究的文献，我们通过自动化指标和盲审人类评审员评估了 ChatGPT 在抽取式摘要上的表现。我们还构建了自动文本分类器来检测 ChatGPT 生成的摘要。我们发现，虽然文本分类算法能够区分真实摘要与生成摘要，但人类无法区分真实摘要与 ChatGPT 生成的摘要。
引用
@article{arxiv.2303.17650,
title = {Comparing Abstractive Summaries Generated by ChatGPT to Real Summaries Through Blinded Reviewers and Text Classification Algorithms},
author = {Mayank Soni and Vincent Wade},
journal= {arXiv preprint arXiv:2303.17650},
year = {2023}
}