用于自动主题标注的生成式 AI
计算与语言
2024-08-14 v1 人工智能
摘要
主题建模已成为科学研究的重要工具，因为它们能够对研究趋势进行大规模解读。然而，这些模型的输出以关键词列表的形式呈现，需要人工解读才能进行标注。本文旨在评估三种大语言模型——flan、GPT-4o 和 GPT-4 mini——在主题标注方面的可靠性。借鉴此前利用 BERTopic 的研究，我们从 Web of Science 数据库中记录了 2008 年至 2020 年间所有瑞士生物学教授（n=465）发表的全部科学论文（n=34,797）数据集中生成主题。我们定量和定性两方面评估了这三个模型的输出，发现：第一，两个 GPT 模型都能够从模型输出的关键词中准确且精确地标注主题。第二，三词标签更适合把握研究主题的复杂性。
引用
@article{arxiv.2408.07003,
title = {Generative AI for automatic topic labelling},
author = {Diego Kozlowski and Carolina Pradier and Pierre Benz},
journal= {arXiv preprint arXiv:2408.07003},
year = {2024}
}
备注
10 pages, 1 figure