在缩环上近似 ReLU 以实现高效的基于 MPC 的私有推理
机器学习
2023-09-12 v1 密码学与安全
摘要
安全多方计算（MPC）允许用户将机器学习推理卸载到不可信服务器上，而无需共享其隐私敏感数据。尽管具有强大的安全特性，基于 MPC 的私有推理由于其高通信开销而在现实世界中未被广泛采用。在评估 ReLU 层时，MPC 协议会在各方之间产生大量通信，使得端到端执行时间比非私有对应方案慢数个数量级。本文提出 HummingBird，一个 MPC 框架，它仅使用部分比特在更小的环上评估 ReLU，从而显著降低 ReLU 通信开销。基于理论分析，HummingBird 识别出秘密分享中对精度不关键的比特，并在 ReLU 评估期间将其排除以减少通信。凭借其高效的搜索引擎，HummingBird 在 ReLU 期间丢弃 87–91% 的比特，仍保持高准确率。在涉及多服务器的真实 MPC 部署中，HummingBird 在不引入任何误差的情况下平均实现 2.03–2.67 倍端到端加速，并在可容忍一定精度下降时因高达 8.76 倍的通信减少而实现高达 8.64 倍的平均加速。
引用
@article{arxiv.2309.04875,
title = {Approximating ReLU on a Reduced Ring for Efficient MPC-based Private Inference},
author = {Kiwan Maeng and G. Edward Suh},
journal= {arXiv preprint arXiv:2309.04875},
year = {2023}
}