ProFLingo：面向大型语言模型的基于指纹识别的知识产权保护方案
密码学与安全
2024-09-12 v3 机器学习
摘要
大型语言模型（LLMs）近年来引起了广泛关注。由于其“大规模”特性，从头训练 LLM 需要巨大的计算资源。鉴于众多人工智能领域的主要参与者已开源其原始 LLM，越来越多的个人和小型公司能够在这些开源模型之上构建衍生 LLM，成本大幅降低。然而，这种做法可能导致未经授权的使用或复制，违反了许可协议，而微调会改变模型的行为，从而 complicate 了模型所有权的确定。当前的 LLM 知识产权（IP）保护方案要么针对白盒场景设计，要么需要对原始模型进行额外修改，这限制了其在实际场景中的应用。本文提出了 ProFLingo，一种针对 LLM 的黑盒指纹识别 IP 保护方案。ProFLingo 生成能够从原始模型中诱发特定响应的查询，从而建立唯一指纹。该方案评估这些查询在嫌疑模型上的效果，以确定其是否源自原始模型。ProFLingo 提供了一种非侵入性的方法，既无需了解嫌疑模型，也无需修改基础模型或其训练过程。据我们了解，本方法是首个针对 LLM 的黑盒指纹识别 IP 保护技术。我们的源代码和生成的查询均可在 https://github.com/hengvt/ProFLingo 获取。
引用
@article{arxiv.2405.02466,
title = {ProFLingo: A Fingerprinting-based Intellectual Property Protection Scheme for Large Language Models},
author = {Heng Jin and Chaoyu Zhang and Shanghao Shi and Wenjing Lou and Y. Thomas Hou},
journal= {arXiv preprint arXiv:2405.02466},
year = {2024}
}
备注
This is the author's pre-print version of the work. It is posted here for your personal use. Not for redistribution