知晓你的不确定性——论 LLM 在社会科学中的应用
计算机与社会
2025-12-08 v1 人工智能
人机交互
摘要
大型语言模型（LLM）正迅速被整合到计算社会科学研究中，然而其黑盒式的训练过程和推理中设计的随机性要素对科学探究提出了独特挑战。本文认为，将 LLM 应用于社会科学任务需要对不确定性进行显式评估——这是在社会科学定量方法论和机器学习中早已确立的期望。我们引入了一个统一框架，从两个维度评估 LLM 的不确定性：任务类型（T），区分分类、短文本生成和长文本生成；以及验证类型（V），捕捉参考数据或评估标准的可用性。借鉴计算机科学和社会科学文献，我们将现有的不确定性量化（UQ）方法映射到这一 T-V 类型学中，并为研究人员提供实用建议。我们的框架既提供了方法论保障，也为将 LLM 整合到严谨的社会科学研究提供了实用指南。
引用
@article{arxiv.2512.05461,
title = {Knowing Your Uncertainty -- On the application of LLM in social sciences},
author = {Bolun Zhang and Linzhuo Li and Yunqi Chen and Qinlin Zhao and Zihan Zhu and Xiaoyuan Yi and Xing Xie},
journal= {arXiv preprint arXiv:2512.05461},
year = {2025}
}
备注
49 pages, 10 figures