大语言模型能否变革计算社会科学？
计算与语言
2024-02-27 v3 机器学习
摘要
大语言模型（LLMs）能够零样本（无需训练数据）成功执行许多语言处理任务。如果零样本 LLMs 也能可靠地分类并解释诸如说服力和政治意识形态等社会现象，那么 LLMs 便能以重要方式增强计算社会科学（CSS）流程。本工作提供了将 LLMs 用作 CSS 工具的路线图。为此，我们贡献了一套提示最佳实践以及一个广泛的评估流程，用以衡量 13 个语言模型在 25 个代表性英文 CSS 基准上的零样本性能。在分类学标注任务（分类）上，LLMs 未能超越最优微调模型，但仍与人类达成尚可的一致水平。在自由形式编码任务（生成）上，LLMs 生成的解释常超越众包工作者金标准的参考质量。我们得出结论，当今 LLMs 的性能可通过两种方式增强 CSS 研究流程：（1）作为人类标注团队中的零样本数据标注器，以及（2）引导具有挑战性的创造性生成任务（例如，解释文本的底层属性）。总之，LLMs 已准备好与人类合作，有意义地参与社会科学分析。
引用
@article{arxiv.2305.03514,
title = {Can Large Language Models Transform Computational Social Science?},
author = {Caleb Ziems and William Held and Omar Shaikh and Jiaao Chen and Zhehao Zhang and Diyi Yang},
journal= {arXiv preprint arXiv:2305.03514},
year = {2024}
}
备注
To appear in "Computational Linguistics" (CL)