面向同态加密快速隐私推理的非多项式算子精确低次多项式逼近
摘要
随着机器学习 (ML) 渗透到医疗保健、人脸识别和区块链等领域，保护敏感数据的需求日益增强。全同态加密 (FHE) 允许对加密数据进行推理，从而保护数据和 ML 模型的隐私。然而，与非安全推理相比，它会使推理速度减慢高达五个数量级，其根本原因在于用高次多项式逼近函数 (PAF) 替换了非多项式算子（ReLU 和 MaxPooling）。我们提出了 SmartPAF，这是一个用低次 PAF 替换非多项式算子，然后通过四种技术恢复 PAF 逼近模型准确性的框架：(1) 系数微调 (CT)——在训练前根据输入分布调整 PAF 系数；(2) 渐进逼近 (PA)——每次渐进式地替换一个非多项式算子，随后进行微调；(3) 交替训练 (AT)——以解耦的方式在 PAF 和其他线性算子之间交替训练；以及 (4) 动态缩放 (DS) / 静态缩放 (SS)——在训练中将 PAF 输入值动态缩放至 (-1, 1) 内，并在 FHE 部署时将缩放固定为运行时的最大值。CT、PA、AT 和 DS/SS 的协同效应使 SmartPAF 能够在多个数据集下，提升由不同低次 PAF 逼近的各种模型的准确性。对于 ImageNet-1k 下的 ResNet-18，SmartPAF 在延迟-准确性权衡空间中找到的 Pareto 前沿比先前工作实现了 1.42 倍至 13.64 倍的准确性提升和 6.79 倍至 14.9 倍的加速。此外，SmartPAF 使得 14 次 PAF (f1^2 g_1^2) 在具有相同 69.4% 替换后准确率的情况下，比通过极小极大逼近获得的 27 次 PAF 实现了 7.81 倍的加速。我们的代码可在 https://github.com/EfficientFHE/SmartPAF 获取。
引用
@article{arxiv.2404.03216,
title = {Accurate Low-Degree Polynomial Approximation of Non-polynomial Operators for Fast Private Inference in Homomorphic Encryption},
author = {Jianming Tong and Jingtian Dang and Anupam Golder and Callie Hao and Arijit Raychowdhury and Tushar Krishna},
journal= {arXiv preprint arXiv:2404.03216},
year = {2024}
}
备注
Proceedings of the 5th MLSys Conference, Santa Clara, CA, USA, 2024. Copyright 2024 by the author(s)