ChatGPT-4在零样本学习下标注政治推特消息的表现优于专家与众包工作者
计算与语言
2023-04-14 v1 人工智能
社会与信息网络
摘要
本文评估了大型语言模型（LLM）ChatGPT-4在基于推文内容对推特发布者的政治派别进行分类的文本分析任务上的准确性、可靠性和偏差。将该LLM与通常被视为此类任务黄金标准的专家分类者和众包工作者的手动标注进行比较。我们使用2020年选举期间美国政治人物的推特消息，提供了用以衡量准确性的真实标签。本文发现，ChatGPT-4比人类分类者具有更高的准确性、更高的可靠性以及相等或更低的偏差。该LLM能够正确标注那些需要基于上下文知识进行推理以及围绕作者意图进行推断的消息——这些传统上被视为人类独有的能力。这些发现表明，LLM将通过实现解释性研究的大规模开展，对社会科学中文本数据的使用产生实质性影响。
引用
@article{arxiv.2304.06588,
title = {ChatGPT-4 Outperforms Experts and Crowd Workers in Annotating Political Twitter Messages with Zero-Shot Learning},
author = {Petter Törnberg},
journal= {arXiv preprint arXiv:2304.06588},
year = {2023}
}
备注
5 pages, 3 figures