从大语言模型中提取专用代码能力：一项可行性研究
软件工程
2023-11-01 v4
摘要
大语言模型（LLMs）近期的进展显著推动了其在软件工程中的使用。然而，训练一个表现良好的LLM需要大量人力进行数据收集与标注。此外，训练数据集可能专有或部分开放，且该过程通常需要昂贵的GPU集群。商业LLM的知识产权价值使其成为模仿攻击的诱人目标，但创建具有相当参数的模仿模型仍成本高昂。这促使我们探索一个实用且新颖的方向：使用中等规模骨干模型对商业黑盒LLM进行切片。在本文中，我们探讨了针对LLM发起模仿攻击以提取其专用代码能力（如“代码合成”与“代码翻译”）的可行性。我们系统性地研究了在多种查询方案（包括零样本、上下文学习与思维链）下，针对不同代码相关任务发起代码能力提取攻击的有效性。我们还设计了响应检查以精炼输出，从而形成有效的模仿训练过程。我们的结果显示出有前景的结果，表明通过合理数量的查询，攻击者可训练中等规模骨干模型以复现类似于目标LLM的专用代码行为。我们总结了发现与见解，以帮助研究人员更好地理解模仿攻击带来的威胁，包括揭示用于针对LLM生成对抗性代码样本的实用攻击面。
引用
@article{arxiv.2303.03012,
title = {On Extracting Specialized Code Abilities from Large Language Models: A Feasibility Study},
author = {Zongjie Li and Chaozheng Wang and Pingchuan Ma and Chaowei Liu and Shuai Wang and Daoyuan Wu and Cuiyun Gao and Yang Liu},
journal= {arXiv preprint arXiv:2303.03012},
year = {2023}
}
备注
13 pages