窃取生产级语言模型的一部分
密码学与安全
2024-07-10 v2
摘要
我们引入了首个模型窃取攻击，能够从黑盒生产级语言模型（如 OpenAI 的 ChatGPT 或 Google 的 PaLM-2）中提取精确且非平凡的信息。具体而言，在典型的 API 访问条件下，我们的攻击恢复了 Transformer 模型的嵌入投影层（直至对称性）。以低于 20 美元的成本，我们的攻击提取了 OpenAI 的 Ada 和 Babbage 语言模型的整个投影矩阵。从而，我们首次证实这些黑盒模型分别具有 1024 和 2048 的隐藏维度。我们还恢复了 gpt-3.5-turbo 模型的确切隐藏维度大小，并估计花费低于 2000 美元的查询即可恢复整个投影矩阵。最后，我们提出了潜在的防御和缓解措施，并讨论了可能扩展我们攻击的未来工作的影响。
引用
@article{arxiv.2403.06634,
title = {Stealing Part of a Production Language Model},
author = {Nicholas Carlini and Daniel Paleka and Krishnamurthy Dj Dvijotham and Thomas Steinke and Jonathan Hayase and A. Feder Cooper and Katherine Lee and Matthew Jagielski and Milad Nasr and Arthur Conmy and Itay Yona and Eric Wallace and David Rolnick and Florian Tramèr},
journal= {arXiv preprint arXiv:2403.06634},
year = {2024}
}