该代码片段由ChatGPT编写吗？基于CodeBERT分类器的实证研究
软件工程
2023-08-08 v2
摘要
自2022年11月推出以来，ChatGPT在用户中广受欢迎，尤其是将其作为解决开发问题的工具使用的程序员。然而，尽管ChatGPT为编程问题提供了实用方案，它应主要用作辅助工具（例如用于软件教育）而非人类的替代品。因此，自动检测ChatGPT生成的源代码十分必要，且用于识别AI生成内容的工具可能需要调整以有效处理源代码。本文提出一项实证研究，探讨自动识别AI生成代码片段的可行性及影响该能力的因素。为此，我们提出一种名为GPTSniffer的新方法，其构建于CodeBERT之上以检测AI编写的源代码。结果表明，GPTSniffer能准确分类代码系人工编写还是AI生成，并优于两个基线GPTZero和OpenAI Text Classifier。此外，研究还显示，相似的训练数据或带有配对片段的分类上下文有助于提升分类性能。
引用
@article{arxiv.2307.09381,
title = {Is this Snippet Written by ChatGPT? An Empirical Study with a CodeBERT-Based Classifier},
author = {Phuong T. Nguyen and Juri Di Rocco and Claudio Di Sipio and Riccardo Rubei and Davide Di Ruscio and Massimiliano Di Penta},
journal= {arXiv preprint arXiv:2307.09381},
year = {2023}
}