量化 BERT 模型的隐私保护推理
机器学习
2025-08-05 v1 密码学与安全
摘要
随着生成式机器学习模型在医疗和个性化服务等隐私敏感领域的部署增加，确保安全推理已成为关键挑战。安全多方计算（MPC）使模型推理实现隐私保护，但因浮点运算的高通信和计算开销而受限。主要瓶颈在于昂贵的安全浮点运算评估。量化通过将浮点运算转换为低精度整数计算，显著降低开销。然而，现有基于 MPC 的量化推理方法要么依赖公开量化参数——存在隐私风险——要么在处理激活函数和 softmax 等非线性函数时效率低下。本工作提出一种细粒度、分层的量化方案，支持在安全环境下 1 位权重全连接层。我们设计一种多输入查找表协议高效安全地评估 softmax。进一步，我们使用双密钥共享方案并通过查找表执行精度转换，完全消除截断开销。在 BERT-base 模型上的实验评估表明，我们的方法相较 Lu 等人（NDSS 25）实现最高 8 倍加速，相较 Gupta 等人（PETS 24）实现 9 倍加速，相较 Knott 等人（NeurIPS 21）实现 22 倍加速。
引用
@article{arxiv.2508.01636,
title = {Privacy-Preserving Inference for Quantized BERT Models},
author = {Tianpei Lu and Bingsheng Zhang and Lekun Peng and Bowen Zheng and Lichun Li and Kui Ren},
journal= {arXiv preprint arXiv:2508.01636},
year = {2025}
}