AIn't Nothing But a Survey?——大型语言模型在编码德语开放式调查问卷动机方面的应用
计算与语言
2025-07-04 v3 人工智能
计算机与社会
摘要
近期大型语言模型（LLM）的发展与普及推动了关于它们在调查研究中应用的讨论，包括对开放式调查问卷响应的分类。由于其语言能力，LLM 可能是高效替代方案，取代耗时的手动编码和监督机器学习模型的预训练。由于现有研究主要聚焦于英语响应、非复杂主题或单一 LLM，故其发现是否普遍适用，以及这些分类与既定方法的质量如何比较，尚不明确。本研究以德语调查问卷参与动机为例，探讨不同 LLM 能否用于开放式调查问卷响应的编码。我们比较了多种最先进的 LLM 和多种提示方法，并通过人类专家编码评估了 LLM 的性能。总体性能在不同 LLM 之间差异很大，仅通过微调的 LLM 才能实现令人满意的预测性能。不同提示方法之间的性能差异取决于所使用的 LLM。最后，LLM 在对不同调查问卷参与动机类别的分类性能不均，导致未使用微调时类别分布不同。我们讨论了这些发现对开放式响应编码方法学研究、实质性分析以及处理此类数据的实践者的意义。我们还概述了在 LLM 时代为开放式响应分类选择自动化方法时需要权衡的诸多因素。通过这一工作，本研究为 LLM 在调查研究中高效、准确和可靠地发挥作用的条件提供了宝贵的实证依据。
引用
@article{arxiv.2506.14634,
title = {AIn't Nothing But a Survey? Using Large Language Models for Coding German Open-Ended Survey Responses on Survey Motivation},
author = {Leah von der Heyde and Anna-Carolina Haensch and Bernd Weiß and Jessica Daikeler},
journal= {arXiv preprint arXiv:2506.14634},
year = {2025}
}
备注
to appear in Survey Research Methods