基于近似任务条件的零样图 LLM 生成代码检测
计算与语言
2025-06-09 v1 机器学习
摘要
检测大型语言模型（LLM）生成的代码是一项日益增长的挑战，涉及安全、知识产权和学术诚信等方面。我们研究了在考虑代码及其对应的任务提示（task prompt）时，条件概率分布在改进零样图 LLM 生成代码检测中的作用。我们的关键洞察是：当使用 LLM 计算代码 token 概率分布时，LLM 生成的代码与人类编写的代码几乎没有区别。然而，在任务条件下则存在显著差异。这与自然语言文本不同，后者在无条件分布上就已存在差异。基于此，我们提出了一种新颖的零信任检测方法，通过近似生成给定代码片段所用任务（approximated task）来进行条件化，然后评估该条件下的 token 级别熵（ATC）。我们进一步提供了数学直觉，阐释了该方法相对于前述方法的定位。ATC 无需访问生成器 LLM 或原始任务提示，因而在实际应用中具有较好的实用性。据我们了解，它在各类基准测试中实现了最先进的结果，并能跨编程语言（包括 Python、CPP 和 Java）进行泛化。我们的发现凸显了在 LLM 生成代码检测中，任务级别条件化的重要性。补充材料及代码已公开于 https://github.com/maorash/ATC，包括数据集收集实现，以促进该领域的进一步研究。
引用
@article{arxiv.2506.06069,
title = {Zero-Shot Detection of LLM-Generated Code via Approximated Task Conditioning},
author = {Maor Ashkenazi and Ofir Brenner and Tal Furman Shohet and Eran Treister},
journal= {arXiv preprint arXiv:2506.06069},
year = {2025}
}
备注
To appear in the Proceedings of ECML-PKDD 2025, Springer Lecture Notes in Computer Science (LNCS)