超越代码生成：软件工程实践中的 ChatGPT 使用观察研究

大型语言模型（LLM）在学术界和公众媒体中经常被讨论作为几乎任何依赖文本产出的用例的支持工具，包括软件工程。目前关于基于大型语言模型工具（如 ChatGPT）对工程师在行业中的实际有用性的讨论尚多，却缺乏实证证据。我们对24名专业软件工程师进行了观察性研究，他们在工作期间（持续一周）使用 ChatGPT，并对他们与聊天机器人之间的对话以及整体经历（通过退出调查）进行了定性分析。我们发现，与其期望 ChatGPT 生成可直接使用的软件制品（如代码），实践者更常使用 ChatGPT 来获取解决任务方法的指导，或以更抽象的方式学习主题。我们还提出了一个理论框架，用于说明（i）交互目的、（ii）内部因素（如用户性格）以及（iii）外部因素（如公司政策）如何共同塑造经验（以感知有用性和可信度为度量）。我们设想，未来的研究可以借助我们的框架进一步推动学术讨论关于软件工程实践者使用大型语言模型的话题，也可作为未来此领域实证性大型语言模型研究的参考点。