Bicoptor 2.0:解决概率截断中的挑战以增强隐私保护机器学习
密码学与安全
2024-03-07 v2
摘要
本文主要从精度与效率角度,分析现有 PPML 工作中概率截断协议的问题并提出解决方案。在精度方面,我们揭示部分现有工作中推荐的精度选择是错误的。我们对其开源代码进行了透彻分析,发现其错误主要源于简化实现,更具体地,概率截断协议中使用了固定数而非随机数。基于此,我们提供了详尽的理论分析以验证我们的观点。我们提出一种解决方案及供未来工作参考的精度选择指南。在效率方面,我们发现最先进比较协议——Bicoptor (S&P 2023) 的 DReLU 协议——存在局限,该协议依赖概率截断协议且严重受安全参数约束以避免错误,显著影响了协议性能。为应对这些挑战,我们引入了首个非交互式确定性截断协议,以替代原有的概率截断协议。此外,我们设计了非交互式模切换协议以增强协议安全性。最后,我们提供了一条指南,通过仅使用输入的部分比特(即关键比特)基于不同模型参数进行 DReLU 操作,从而降低计算与通信开销。借助关键比特,我们的 DReLU 协议性能得到进一步提升。我们在三台 GPU 服务器上评估了协议性能,相较最先进工作 Piranha-Falcon (USENIX Sec 22),DReLU 协议实现 10 倍提升,ReLU 协议实现 6 倍提升。总体而言,我们的端到端 (E2E) 隐私保护机器学习 (PPML) 推理性能提升了 3-4 倍。
引用
@article{arxiv.2309.04909,
title = {Bicoptor 2.0: Addressing Challenges in Probabilistic Truncation for Enhanced Privacy-Preserving Machine Learning},
author = {Lijing Zhou and Qingrui Song and Su Zhang and Ziyu Wang and Xianggui Wang and Yong Li},
journal= {arXiv preprint arXiv:2309.04909},
year = {2024}
}
备注
17 pages, 5 figures