使用大型语言模型进行社会科学文本标注的风险之旅
计算与语言
2025-07-29 v2 计算机与社会
摘要
大型语言模型（LLM）有潜力在计算社会科学领域革命性地改变文本分析方法。本文针对使用 LLM 进行文本分类任务的前景与风险进行系统评估，以社会运动研究为例。我们提出了一种框架，帮助社会科学家将 LLM 纳入文本标注流程，既可将其作为主要编码决策者，也可作为编码助理。该框架为研究人员提供了工具，以开发最佳提示词，并系统性地检查和报告 LLM 作为方法论工具的有效性和可靠性。此外，我们评估并讨论了涉及有效性、可靠性、可复制性和透明度的认识风险。我们以各种实际指南结束关于在文本标注任务中使用 LLM 的建议，并提出更有效地传播认识风险的建议。
引用
@article{arxiv.2503.22040,
title = {Navigating the Risks of Using Large Language Models for Text Annotation in Social Science Research},
author = {Hao Lin and Yongjun Zhang},
journal= {arXiv preprint arXiv:2503.22040},
year = {2025}
}