ChatGPT 是一个好的关键词生成器吗？一项初步研究
计算与语言
2023-12-25 v3
摘要
ChatGPT 的出现近来引起了计算语言学界的显著关注。为展示其作为关键词生成器的能力，我们对 ChatGPT 在关键词生成任务上进行了初步评估。我们从多个方面评估其表现，包括关键词生成提示、关键词生成多样性以及长文档理解。我们的评估基于六个基准数据集，并采用了 OpenAI 建议的提示同时将其扩展为六种候选提示。我们发现 ChatGPT 在所有六种候选提示上均表现极佳，各数据集间观察到的性能差异微小。基于我们的发现，我们得出结论：ChatGPT 在关键词生成方面具有巨大潜力。此外，我们发现 ChatGPT 在生成缺席关键词时仍面临挑战。同时，在最后部分我们也给出了本报告的若干局限性与未来扩展。
引用
@article{arxiv.2303.13001,
title = {Is ChatGPT A Good Keyphrase Generator? A Preliminary Study},
author = {Mingyang Song and Haiyun Jiang and Shuming Shi and Songfang Yao and Shilong Lu and Yi Feng and Huafeng Liu and Liping Jing},
journal= {arXiv preprint arXiv:2303.13001},
year = {2023}
}
备注
Technical Report, 6 pages