ChatGPT 能否复现人工生成的标注？一项关于社会计算任务的研究
人工智能
2023-04-25 v2 计算与语言
摘要
ChatGPT 的发布揭示了一系列大型语言模型（LLMs）可替代人类智能的可能性。在本文中，我们试图理解 ChatGPT 是否有潜力在社会计算任务中复现人工生成的标签标注。此类成就可显著降低社会计算研究的成本与复杂度。为此，我们使用 ChatGPT 对五个标志性数据集重新标注，涵盖立场检测（2 个）、情感分析、仇恨言论和机器人检测。我们的结果强调，ChatGPT 确实具有处理这些数据标注任务的潜力，尽管仍存在若干挑战。ChatGPT 取得平均准确率 0.609。在情感分析数据集上表现最佳，ChatGPT 正确标注了 64.9% 的推文。然而，我们显示性能在不同个体标签间差异显著。我们认为本工作可开辟新的分析思路，并作为未来探索利用 ChatGPT 进行人工标注任务研究的基础。
引用
@article{arxiv.2304.10145,
title = {Can ChatGPT Reproduce Human-Generated Labels? A Study of Social Computing Tasks},
author = {Yiming Zhu and Peixian Zhang and Ehsan-Ul Haq and Pan Hui and Gareth Tyson},
journal= {arXiv preprint arXiv:2304.10145},
year = {2023}
}