我们准备好拥抱生成式 AI 用于软件问答了吗？

Bowen Xu; Thanh-Dat Nguyen; Thanh Le-Cong; Thong Hoang; Jiakun Liu; Kisub Kim; Chen Gong; Changan Niu; Chenyu Wang; Bach Le; David Lo

我们准备好拥抱生成式 AI 用于软件问答了吗？

软件工程 2023-08-15 v2

作者: Bowen Xu , Thanh-Dat Nguyen , Thanh Le-Cong , Thong Hoang , Jiakun Liu , Kisub Kim , Chen Gong , Changan Niu , Chenyu Wang , Bach Le , David Lo

在 arXiv 上查看 ↗ PDF ↗

摘要

全球最大的软件问答（SQA）网站 Stack Overflow 因生成式 AI 技术的出现正面临显著流量下降。ChatGPT 在发布仅 6 天后即被 Stack Overflow 封禁。Stack Overflow 官方给出的主要原因是 ChatGPT 生成的答案质量低。为验证此点，我们对人工撰写答案与 ChatGPT 生成答案进行了比较评估。我们的方法同时采用自动比较与人工研究。结果表明人工撰写与 ChatGPT 生成答案语义相似，但人工撰写答案在多方面持续优于 ChatGPT 生成答案，总体得分高出 10%。我们在 https://anonymous.4open.science/r/GAI4SQA-FD5C 发布了数据、分析脚本与详细结果。

关键词

生成式 AI 软件问答 Stack Overflow ChatGPT 答案质量比较评估人工撰写答案

引用

@article{arxiv.2307.09765,
  title  = {Are We Ready to Embrace Generative AI for Software Q&A?},
  author = {Bowen Xu and Thanh-Dat Nguyen and Thanh Le-Cong and Thong Hoang and Jiakun Liu and Kisub Kim and Chen Gong and Changan Niu and Chenyu Wang and Bach Le and David Lo},
  journal= {arXiv preprint arXiv:2307.09765},
  year   = {2023}
}

备注

Accepted by the New Ideas and Emerging Results (NIER) track at The IEEE/ACM Automated Software Engineering (ASE) Conference

我们准备好拥抱生成式 AI 用于软件问答了吗？

摘要

关键词

引用

备注

相关论文