善变的智能：使用LLMs作为政治和社会科学中的推断工具
计算机与社会
2025-04-08 v1 人工智能
摘要
生成式大语言模型是非常有用、多功能且有前景的工具。然而，当它们被用于增进对真实人类行为和关注的理解时，对政治和社会科学研究者最有用。为了促进LLMs的科学使用，我们建议政治和社会科学的研究者需要保持对科学推断目标的关注。为此，我们讨论了与使用LLMs进行科学推断相关的挑战和机遇，以模型输出的验证作为讨论的说明性案例。我们提出了一套关于确定LLMs在完成特定任务时失败和成功的指南，并讨论了如何从这些观察中进行推断。最后，我们讨论了这种重新聚焦将如何改善关于这些工具及其在社会科学中使用的共享科学知识的积累。
引用
@article{arxiv.2504.03822,
title = {Arti-"fickle" Intelligence: Using LLMs as a Tool for Inference in the Political and Social Sciences},
author = {Lisa P. Argyle and Ethan C. Busby and Joshua R. Gubler and Bryce Hepner and Alex Lyman and David Wingate},
journal= {arXiv preprint arXiv:2504.03822},
year = {2025}
}