面向本地部署的 LLM：在不牺牲模型保密性的前提下保持隐私
机器学习
2025-10-08 v3 人工智能
密码学与安全
摘要
隐私敏感的用户需要在自身基础设施（本地部署）中部署大语言模型（LLM），以保护私有数据并实现定制化。然而，本地环境中的漏洞可能导致未授权访问和潜在的模型盗窃。为此，先前的研究在小模型方面探索了仅在硬件安全设备中保护输出层，以平衡模型保密性和定制化。然而，这种方法无法有效保护 LLM。本文发现：（1）针对受保护顶层的查询基 distillation 攻击可产生功能等效的受害者模型副本；（2）保护相同数量的层，顶层之前的底层在防止 distillation 攻击方面优于顶层，同时对定制化性能影响相当；（3）所保护层的数量在保护和定制化灵活性之间形成权衡。基于这些见解，我们提出了 SOLID，一种新的部署框架，通过在安全环境中保护少数底层，引入一种高效指标以确定理想隐藏层数量。对五个模型（13B 至 70B 参数）进行的广泛实验表明，SOLID 优于基线方法，实现了保护与下游定制化之间的更好平衡。
引用
@article{arxiv.2410.11182,
title = {A Middle Path for On-Premises LLM Deployment: Preserving Privacy Without Sacrificing Model Confidentiality},
author = {Hanbo Huang and Yihan Li and Bowen Jiang and Bo Jiang and Lin Liu and Ruoyu Sun and Zhuotao Liu and Shiyu Liang},
journal= {arXiv preprint arXiv:2410.11182},
year = {2025}
}
备注
8 pages for main content of the paper