“总是友善自信,偶尔出错”:开发者使用大语言模型(LLM)与人类问答平台获取编码支持的经验
人机交互
2025-02-24 v3 软件工程
摘要
软件工程师历来依赖Stack Overflow(SO)等人力驱动的问答平台作为编码辅助。随着生成式AI的兴起,开发者已开始在其软件开发过程中采用ChatGPT等AI聊天机器人。认识到人力问答平台与AI驱动的基于问答的聊天机器人之间的潜在相似性,我们通过针对1700+篇Reddit帖子的主题分析,调查并比较了开发者如何将此类辅助整合进其真实编码经验。通过对SO与ChatGPT的比较研究,我们识别了各平台的优势、用例与障碍。我们的发现表明,ChatGPT提供快速、清晰、全面的回复,并营造了比SO更受尊重的环境。然而,对ChatGPT可靠性的担忧源于其过度自信的语气以及缺乏如SO投票系统般的验证机制。基于这些发现,我们综合了面向未来GenAI代码助手的设计启示,并推荐了一种利用各平台独特特性以改善开发者体验的工作流。
引用
@article{arxiv.2309.13684,
title = {"Always Nice and Confident, Sometimes Wrong": Developer's Experiences Engaging Large Language Models (LLMs) Versus Human-Powered Q&A Platforms for Coding Support},
author = {Jiachen Li and Elizabeth Mynatt and Varun Mishra and Jonathan Bell},
journal= {arXiv preprint arXiv:2309.13684},
year = {2025}
}