深度与自主性：评估社会科学研究中 LLM 应用的框架
计算与语言
2025-10-30 v1
摘要
大型语言模型（LLM）越来越多地被跨越广泛领域的研究者所利用，定性社会科学亦不例外；然而，这种采用面临一系列持续性挑战，包括解释偏差、可靠性低以及可审计性差。我们引入了一个框架，将LLM用途沿用两个维度，即解释深度和自主性，从而为定性研究中LLM应用提供一种直观的分类方式，并派生出实用的设计建议。我们基于Web of Science上所有使用LLM作为工具而非严格作为研究对象的社会科学论文，呈现了这两个维度上的文献现状。与其赋予模型广泛的自由度，我们的方法鼓励研究者将任务分解为可管理的片段，方法就像他们委托有能力的本科生研究助理一样。通过保持较低的自主水平并在需要时且在监督下有选择地增加解释深度，研究者可以在保持透明度和可靠性的同时，合理地获益于LLM的优势。
引用
@article{arxiv.2510.25432,
title = {Depth and Autonomy: A Framework for Evaluating LLM Applications in Social Science Research},
author = {Ali Sanaei and Ali Rajabzadeh},
journal= {arXiv preprint arXiv:2510.25432},
year = {2025}
}
备注
Presented at the Annual Meeting of the American Political Science Association, Vancouver, BC, September 11--14 2025