探索多种自然语言对GitHub Copilot代码建议的影响
软件工程
2024-02-05 v1
摘要
GitHub Copilot 是一款能自动进行程序合成的AI赋能工具。自2021年发布以来，它已获得广泛关注。近期研究广泛探讨了Copilot在各种编程任务中的能力及其安全问题。然而，关于不同自然语言对代码建议的影响，人们知之甚少。自然语言在NLP领域被视为一种社会偏见，而这种偏见可能影响软件工程的多样性。为填补这一空白，我们进行了一项实证研究，旨在调查三种流行的自然语言（英语、日语和中文）对Copilot的影响。我们使用了来自AtCoder竞赛的756个不同难度级别的问题进行评估。结果突显出其能力因自然语言而异，其中中文表现最差。此外，无论使用何种自然语言，随着问题难度的增加，其性能均显著下降。我们的工作代表了理解自然语言在Copilot能力中重要性的第一步，并为未来的工作开辟了有前景的机遇。
引用
@article{arxiv.2402.01438,
title = {Exploring the Effect of Multiple Natural Languages on Code Suggestion Using GitHub Copilot},
author = {Kei Koyanagi and Dong Wang and Kotaro Noguchi and Masanari Kondo and Alexander Serebrenik and Yasutaka Kamei and Naoyasu Ubayashi},
journal= {arXiv preprint arXiv:2402.01438},
year = {2024}
}