中文

我认识你代码的作者:LLM 生成代码的体韵学用于署 authorship attribution

机器学习 2025-06-24 v1 人工智能 软件工程

摘要

检测 AI 生成代码、深度伪造及其他合成内容正成为一项新兴研究挑战。随着由大型语言模型(LLM)生成的代码变得越来越常见,识别每段样本背后的具体模型日益重要。本文首次系统性研究了 LLM 署 authorship attribution 用于 C 语言程序。我们发布了 CodeT5-Authorship,一种新型模型,仅使用原始 CodeT5 编码器-解码器架构的编码器层,舍弃解码器以专注分类。我们的模型编码器输出(第一个 token)通过带有 GELU 激活和 dropout 的两层分类头,生成对可能作者的概率分布。为评估我们的方案, 我们引入 LLM-AuthorBench,一个包含 32,000 个可编译 C 程序的基准,这些程序由 8 个最先进 LLM 在多样化任务中生成。我们将模型与七种传统机器学习分类器以及八种微调变换器模型(包括 BERT、RoBERTa、CodeBERT、ModernBERT、DistilBERT、DeBERTa-V3、Longformer 和 LoRA 微调的 Qwen2-1.5B)进行比较。在二分类中,我们的模型在区分如 GPT-4.1 和 GPT-4o 等紧密相关模型生成的 C 程序时达到 97.56% 的准确率,在对五大领先 LLM(Gemini 2.5 Flash、Claude 3.5 Haiku、GPT-4.1、Llama 3.3 和 DeepSeek-V3)进行多类署 authorship attribution 时达到 95.40% 的准确率。为支持开放科学,我们在 GitHub 上发布了 CodeT5-Authorship 架构、LLM-AuthorBench 基准以及所有相关 Google Colab 脚本:https://github.com/LLMauthorbench/。

关键词

引用

@article{arxiv.2506.17323,
  title  = {I Know Which LLM Wrote Your Code Last Summer: LLM generated Code Stylometry for Authorship Attribution},
  author = {Tamas Bisztray and Bilel Cherif and Richard A. Dubniczky and Nils Gruschka and Bertalan Borsos and Mohamed Amine Ferrag and Attila Kovacs and Vasileios Mavroeidis and Norbert Tihanyi},
  journal= {arXiv preprint arXiv:2506.17323},
  year   = {2025}
}