社区问答平台与GPT-3驱动的生成式AI的探索性分析：这标志着线上社区学习的终结吗？
软件工程
2024-10-01 v2
摘要
背景：大型语言模型驱动的工具（如ChatGPT）为软件工程师提供了一个来自社区问答（CQA）平台（如Stack Overflow）的交互式替代方案。尽管Stack Overflow提供了来自众包知识积累的益处，但常常遭遇不愉快的评论、反应以及长时间等待的问题。目标：本研究通过分析其性能 Specifically针对人类解决方案，评估ChatGPT在为软件工程问题提供解决方案的效能。方法：我们经验性地分析了来自StackOverflow的2564个Python和JavaScript问题，这些问题在2022年1月至2022年12月之间提出。我们从Stack Overflow解析问题和答案，然后通过API收集来自ChatGPT的答案，采用四个文本度量和四个认知度量来比较ChatGPT生成的答案与来自人类主观领域专家的已采纳答案，以发现未来知识寻求者可能为何偏好ChatGPT而非CQA平台的潜在原因。我们还测量ChatGPT答案的准确性。我们还使用三个度量来衡量Stack Overflow上用户交互过去的两年，以确定ChatGPT的影响。结果：我们的分析表明，ChatGPT的响应比短66%，且与问题共享35%更多单词，显示出与人类响应相比正面情感增加25%。ChatGPT的答案准确率在71至75%之间，JavaScript和Python之间的响应特征存在差异。此外，我们的发现表明，Stack Overflow上的评论互动最近减少了38%，表明社区参与模式正在发生变化。一项针对14名Python和JavaScript专业人士的补充调查验证了这些发现。
引用
@article{arxiv.2409.17473,
title = {An exploratory analysis of Community-based Question-Answering Platforms and GPT-3-driven Generative AI: Is it the end of online community-based learning?},
author = {Mohammed Mehedi Hasan and Mahady Hasan and Mamun Bin Ibne Reaz and Jannat Un Nayeem Iqra},
journal= {arXiv preprint arXiv:2409.17473},
year = {2024}
}