ChatGPT在文本标注任务上优于众包工作者
计算与语言
2023-07-20 v2 计算机与社会
摘要
许多NLP应用需要针对各种任务进行人工数据标注，特别是为了训练分类器或评估无监督模型的性能。根据任务的规模和复杂程度，这些任务可由MTurk等平台上的众包工作者以及训练有素的标注者（如研究助理）完成。使用2382条推文的样本，我们证明ChatGPT在多项标注任务（包括相关性、立场、主题和框架检测）上优于众包工作者。具体而言，ChatGPT的零样本准确率在五项任务中的四项上超过众包工作者，而其编码者间一致性在所有任务上均超过众包工作者和训练有素的标注者。此外，ChatGPT的单次标注成本低于$0.003——约为MTurk的二十分之一。这些结果显示了大语言模型大幅提升文本分类效率的潜力。
引用
@article{arxiv.2303.15056,
title = {ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks},
author = {Fabrizio Gilardi and Meysam Alizadeh and Maël Kubli},
journal= {arXiv preprint arXiv:2303.15056},
year = {2023}
}
备注
Gilardi, Fabrizio, Meysam Alizadeh, and Ma\"el Kubli. 2023. "ChatGPT Outperforms Crowd Workers for Text-Annotation Tasks". Proceedings of the National Academy of Sciences 120(30): e2305016120