部署型 LLM 调查创建工具的影响：基于信息系统成功模型
人机交互
2025-06-19 v1 机器学习
摘要
调查是信息系统（IS）研究的基石，但创建高质量调查仍然需要大量人力，要求具备领域专业知识和方法论严谨性。随着大语言模型（LLMs）的发展，自动化调查生成的机会随之出现。本文介绍了一套基于 LLM 的系统实际部署，以加速数据收集同时保持调查质量。将此类系统部署到生产环境会引入现实复杂性，包括多样化的用户需求和质量控制问题。我们采用 DeLone 和 McLean 信息系统成功模型来评估该系统，以理解生成式 AI 如何重塑 IS 方法的核心环节。该研究的三个关键贡献：其一，我们据此估计这是首个将信息系统成功模型应用于生成式 AI 调查创建系统的案例；其二，我们提出一种结合自动化与人类评估的混合评估框架；最后，我们实施了一系列安全措施，以缓解部署后风险并支持负责任地整合到 IS 工作流程中。
引用
@article{arxiv.2506.14809,
title = {Impact of a Deployed LLM Survey Creation Tool through the IS Success Model},
author = {Peng Jiang and Vinicius Cezar Monteiro de Lira and Antonio Maiorino},
journal= {arXiv preprint arXiv:2506.14809},
year = {2025}
}