AI能否替代软件工程研究中的人类被试？
软件工程
2023-11-21 v1
摘要
软件工程等社会技术领域的根本研究需要对人类视角进行透彻考量。然而，传统定性数据收集方法面临规模、劳动强度以及被试招募日益困难等挑战。本愿景论文提出一种利用人工智能（AI）尤其是ChatGPT等大型语言模型（LLMs）能力进行软件工程研究定性数据收集的新方法。我们探讨AI生成的合成文本作为定性数据替代来源的潜力，讨论LLMs如何能在研究设定中复现人类响应与行为。我们考察AI在跨多种方法自动化数据收集中的应用，包括用于访谈的基于人物角色的提示、用于焦点小组的多人物角色对话，以及用于调查的超人物角色响应。此外，我们讨论旨在在观察性研究与用户评估中模拟人类行为的新基础模型的展望发展。通过模拟人类交互与反馈，这些AI模型可提供可扩展且高效的数据生成手段，同时洞悉人类态度、经验与表现。我们讨论实现该愿景的若干开放问题与研究机会，并得出结论：尽管AI可增强软件工程研究中数据收集的某些方面，其在某些情况下无法替代人类被试固有的细致、共情理解，而AI与人类生成数据共存的集成方法可能产生最有效的结果。
引用
@article{arxiv.2311.11081,
title = {Can AI Serve as a Substitute for Human Subjects in Software Engineering Research?},
author = {Marco A. Gerosa and Bianca Trinkenreich and Igor Steinmacher and Anita Sarma},
journal= {arXiv preprint arXiv:2311.11081},
year = {2023}
}