ChatGPT与前沿模型:关键词生成任务中的基准研究
计算与语言
2023-06-30 v2 人工智能
摘要
包括ChatGPT在内的基于Transformer的语言模型已在各种自然语言生成任务中展现出卓越性能。然而,评估ChatGPT关键词生成能力的研究有限,该任务涉及识别准确反映文档内容的信息性短语。本研究旨在通过比较ChatGPT与state-of-the-art(前沿)模型的关键词生成性能来填补这一空白,同时测试其作为该领域两大重大挑战——领域自适应与长文档关键词生成——解决方案的潜力。我们在来自科学论文与新闻领域的六个公开可用数据集上进行了实验,分析了在短文档与长文档上的性能。我们的结果表明,ChatGPT在所有测试数据集与环境中均优于当前state-of-the-art模型,生成了能良好适应多样领域与文档长度的高质量关键词。
引用
@article{arxiv.2304.14177,
title = {ChatGPT vs State-of-the-Art Models: A Benchmarking Study in Keyphrase Generation Task},
author = {Roberto Martínez-Cruz and Alvaro J. López-López and José Portela},
journal= {arXiv preprint arXiv:2304.14177},
year = {2023}
}