QSTN：用于大语言模型鲁棒问卷推理的模块化框架
计算与语言
2026-02-20 v2 计算机与社会
摘要
我们介绍了 QSTN，一个开源的 Python 框架，用于系统地从问卷式提示生成响应，以支持大语言模型（LLM）的体外调查和标注任务。QSTN 能够对问卷呈现、提示扰动和响应生成方法进行鲁棒评估。我们的大规模评估（超过 4000 万份调查回复）表明，问题结构和响应生成方法对生成调查回复与人类答案的一致性具有显著影响。我们还发现，通过改变呈现方法，可以用一小部分计算成本获得答案。此外，我们提供了一个无代码用户界面，使研究人员无需编码知识即可使用大语言模型设置鲁棒实验。我们希望 QSTN 将来能支持基于大语言模型研究的可重复性和可靠性。
引用
@article{arxiv.2512.08646,
title = {QSTN: A Modular Framework for Robust Questionnaire Inference with Large Language Models},
author = {Maximilian Kreutner and Jens Rupprecht and Georg Ahnert and Ahmed Salem and Markus Strohmaier},
journal= {arXiv preprint arXiv:2512.08646},
year = {2026}
}
备注
Accepted at 2026 EACL System Demonstrations The Python package is available at https://github.com/dess-mannheim/QSTN/