使用大语言模型的文本摘要：MPT-7b-instruct、Falcon-7b-instruct与OpenAI Chat-GPT模型的比较研究
计算与语言
2023-10-19 v2 人工智能
机器学习
摘要
文本摘要是一项关键的自然语言处理（NLP）任务，应用范围从信息检索到内容生成。利用大语言模型（LLM）在增强摘要技术方面已展现出显著潜力。本文着手探索使用一组多样化的LLM进行文本摘要，包括MPT-7b-instruct、falcon-7b-instruct和OpenAI ChatGPT text-davinci-003模型。实验采用不同超参数执行，并使用广泛接受的指标评估生成的摘要，如双语评估替补（BLEU）分数、面向召回的摘要评估（ROUGE）分数，以及来自变换器的双向编码器表示（BERT）分数。根据实验，text-davinci-003表现优于其他模型。该调研涉及两个不同数据集：CNN Daily Mail和XSum。其主要目标是全面理解大语言模型（LLM）应用于不同数据集时的性能。对这些模型有效性的评估为NLP领域的研究人员和从业者提供了宝贵洞见。本工作可作为有意利用LLM进行文本摘要者的资源，并为开发旨在应对广泛业务挑战的先进生成式AI应用奠定基础。
引用
@article{arxiv.2310.10449,
title = {Text Summarization Using Large Language Models: A Comparative Study of MPT-7b-instruct, Falcon-7b-instruct, and OpenAI Chat-GPT Models},
author = {Lochan Basyal and Mihir Sanghvi},
journal= {arXiv preprint arXiv:2310.10449},
year = {2023}
}
备注
4 pages, 2 tables