从声音到效度：利用大语言模型（LLMs）对政策利益相关者访谈进行文本分析
人机交互
2025-10-06 v1 人工智能
计算与语言
摘要
及时获取利益相关者关于当前政策的各种经验和意见，对于决策者发现资源分配中的优势与不足至关重要，从而支持有效的政策设计与实施。然而，手动编码即使是中等规模的访谈文本或来自利益相关者的开放式调查回复，也通常是劳动密集且耗时的。本研究探讨了将大语言模型（LLMs）（如 GPT-4）与人类专业知识相结合，以增强对美国某州 K-12 教育政策利益相关者访谈的文本分析。采用混合方法，人类专家基于领域知识和无监督主题建模结果开发了编码手册和编码流程。随后，他们设计提示以指导 GPT-4 分析，并迭代评估不同提示的性能。这种人机结合的方法实现了细致的主题和情感分析。结果显示，尽管 GPT-4 在特定主题上的主题编码与人类编码的一致率为 77.89%，但扩展到更广泛的主题时，一致性提升至 96.02%，比传统自然语言处理（NLP）方法高出 25% 以上。此外，与基于词典的方法相比，GPT-4 与专家情感分析的匹配度更高。定量测量和定性审查的结果均强调了人类领域专业知识与自动化分析的互补作用，因为 LLMs 提供了新的视角和编码一致性。人机交互方法提高了教育政策研究的效率、有效性和可解释性。
引用
@article{arxiv.2312.01202,
title = {From Voices to Validity: Leveraging Large Language Models (LLMs) for Textual Analysis of Policy Stakeholder Interviews},
author = {Alex Liu and Min Sun},
journal= {arXiv preprint arXiv:2312.01202},
year = {2025}
}