“故事的幻象”：将大型语言模型作为定性研究参与者进行探讨
人机交互
2024-10-01 v1 计算与语言
机器学习
摘要
近期对生成模型的热潮催生了一系列提议，建议用由大型语言模型 (LLM) 生成的合成研究数据取代人类参与和劳动——例如通过调查、实验和访谈等方式。我们与 19 名定性研究者进行了访谈，以了解他们对这一范式转变的看法。最初持保留态度，研究者们惊讶于在使用访谈探针的情况下，LLM 生成的数据会产生类似的叙述。然而，经过数轮对话，他们逐渐识别出基本局限性，例如 LLM 剥夺了参与者的知情同意和主体性，产生缺乏可感知性和情境深度的响应，以及风险使定性研究方法失去合法性。我们认为，将 LLM 作为参与者的代理者是一种取代效应，引发的伦理和认识论关切超越了当前模型的技术局限，触及了 LLM 是否符合定性认识方式的核心问题。
引用
@article{arxiv.2409.19430,
title = {'Simulacrum of Stories': Examining Large Language Models as Qualitative Research Participants},
author = {Shivani Kapania and William Agnew and Motahhare Eslami and Hoda Heidari and Sarah Fox},
journal= {arXiv preprint arXiv:2409.19430},
year = {2024}
}