模型生成代码的可读性如何？考察 GitHub Copilot 的可读性与视觉检查
软件工程
2022-09-02 v2
摘要
背景：大语言模型的最新进展推动了此类模型在代码生成和程序合成中的实际使用。然而，关于这类工具在实践中对代码可读性和视觉注意的影响知之甚少。目标：在本文中，我们聚焦于 GitHub Copilot，以解决模型生成代码的可读性和视觉检查问题。可读性和低复杂性是良好源代码的重要方面，并且鉴于自动化偏差，对生成代码的视觉检查十分重要。方法：通过一项人类实验（n=21），我们将模型生成的代码与完全由人类程序员编写的代码进行比较。我们结合静态代码分析和人类标注来评估代码可读性，并使用眼动追踪来评估代码的视觉检查。结果：我们的结果表明，模型生成的代码在复杂性和可读性上与人类结对程序员编写的代码相当。同时，眼动追踪数据在统计显著水平上表明，程序员对模型生成代码投入的视觉注意力更少。结论：我们的发现强调，阅读代码比以往任何时候都更重要，程序员应警惕对模型生成代码的自满和自动化偏差。
引用
@article{arxiv.2208.14613,
title = {How Readable is Model-generated Code? Examining Readability and Visual Inspection of GitHub Copilot},
author = {Naser Al Madi},
journal= {arXiv preprint arXiv:2208.14613},
year = {2022}
}