中文

大型语言模型的零射线归因:一种分布测试方法

机器学习 2025-06-26 v1 人工智能 软件工程

摘要

编码中样本的很大比例来自大型语言模型(LLM)。我们研究了使用假设检验来归因由语言模型生成的代码的问题,以利用既有的技术和保证。给定一组样本 SS 和一个可疑模型 L\mathcal{L}^*,我们的目标是评估 SS 是否来自 L\mathcal{L}^*。由于维度灾难,当仅给定 LLM 的样本时,这是不可计算的:为规避此问题,我们同时使用样本和来自 LLM 的密度估计,这是一种常见的访问方式。我们引入 Anubis\mathsf{Anubis},一个零射线归因工具,将归因问题表述为分布测试问题。我们对代码样本的基准实验表明,Anubis\mathsf{Anubis} 在仅使用约 2000 个样本的情况下,即可实现高于 0.9 的高 AUROC 分数,用于区分 DeepSeek-Coder、CodeGemma 和 Stable-Code 等 LLM。

关键词

引用

@article{arxiv.2506.20197,
  title  = {Zero-Shot Attribution for Large Language Models: A Distribution Testing Approach},
  author = {Clément L. Canonne and Yash Pote and Uddalok Sarkar},
  journal= {arXiv preprint arXiv:2506.20197},
  year   = {2025}
}

备注

16 pages, 4 figures