LLMs 能理解加密提示：迈向隐私计算友好的 Transformer
机器学习
2023-12-18 v3 计算与语言
密码学与安全
摘要
学界探索在服务器-客户端设定下为基于 Transformer 的大语言模型（LLMs）构建私有推理框架，其中服务器持有模型参数，客户端输入其私有数据（或提示）进行推理。然而，当私有输入在原始 LLMs 中前向传播时，这些框架带来显著开销。本文表明，用隐私计算友好的近似替代 Transformer 架构中计算与通信密集的算子，可大幅降低私有推理成本，同时对模型性能影响极小。相较于最先进的 Iron（NeurIPS 2022），我们的隐私计算友好模型推理流水线实现计算上 加速与通信开销 80% 降低，同时保持近乎一致的准确率。
引用
@article{arxiv.2305.18396,
title = {LLMs Can Understand Encrypted Prompt: Towards Privacy-Computing Friendly Transformers},
author = {Xuanqi Liu and Zhuotao Liu},
journal= {arXiv preprint arXiv:2305.18396},
year = {2023}
}