Prada：面向资源受限设备上的黑盒 LLM 私有数据适配
密码学与安全
2025-03-20 v1 分布式、并行与集群计算
机器学习
摘要
近年来，大型语言模型 (LLM) 在 various natural language processing tasks 中展现出惊人的能力。然而，针对存储在资源受限边缘设备上的 specialized domains 使用私有数据集进行适配，仍面临着显著的隐私顾虑和有限的计算资源的挑战。现有的模型适配方法要么通过数据传输来妥协数据隐私，要么通过暴露专有 LLM 参数来危及模型隐私。为此，我们提出 Prada，一种 novel privacy-preserving and efficient black-box LLM adaptation system using private on-device datasets 的系统。Prada 使用经过 Low-Rank Adaptation (LoRA) 本地在用户设备上微调的轻量级代理模型。 在推理期间，Prada 利用 logits offset，即 base 和适配代理模型之间输出差异，来迭代细化来自远程黑盒 LLM 的输出。这种基于偏移量的适应方法保留了数据隐私和模型隐私，因为无需共享敏感数据或专有模型参数。此外，我们将 speculative decoding 纳入其中，以进一步加快 Prada 的推理过程，使其在带宽受限的边缘设备上实现实用部署。广泛的实验在 various downstream tasks 上表明，Prada 在保持性能相当于 centralized fine-tuning methods 的同时，通过最高可达 60% 减少计算开销，通过最高可达 80% 减少通信成本。
引用
@article{arxiv.2503.14932,
title = {Prada: Black-Box LLM Adaptation with Private Data on Resource-Constrained Devices},
author = {Ziyao Wang and Yexiao He and Zheyu Shen and Yu Li and Guoheng Sun and Myungjin Lee and Ang Li},
journal= {arXiv preprint arXiv:2503.14932},
year = {2025}
}