xMLP：以专属平方激活革新隐私推理
机器学习
2024-03-14 v1 密码学与安全
摘要
隐私推理（PI）利用多方计算（MPC）和同态加密（HE）等密码学原语，使深度神经网络（DNN）能够在不泄露敏感信息的情况下处理隐私数据。然而，在现有 PI 系统中，使用 ReLU 等非线性激活会导致难以实用化的高 PI 延迟，因为 ReLU 需要采用如混淆电路等代价高昂的 MPC 计算。由于平方激活可通过 Beaver 三元组实现比 ReLU 快数百倍的处理速度，它们对 PI 任务更为友好，但使用它们会导致模型精度显著下降。本文首先探究了使用平方激活后精度下降的原因，并得出结论认为这是由于“信息复合”效应所致。基于这一洞见，我们提出了 xMLP，一种新颖的 DNN 架构，它完全使用平方激活，同时在精度和效率上与基于 ReLU 的 DNN 保持同等水平。我们在 CIFAR-100 和 ImageNet 上的实验表明，xMLP 模型以更少的激活层和参数，持续取得优于 ResNet 模型的性能，同时保持与其基于 ReLU 变体的一致性能。值得注意的是，与最先进的 PI 模型相比，xMLP 展现出卓越的性能，在 PI 速度提升 7 倍的同时，精度提高了 0.58%。此外，在保持相同 PI 延迟的情况下，它实现了 4.96% 的显著精度提升。当将 PI 卸载到 GPU 时，xMLP 比先前最先进的 PI 模型快达 700 倍，且精度相当。
引用
@article{arxiv.2403.08024,
title = {xMLP: Revolutionizing Private Inference with Exclusive Square Activation},
author = {Jiajie Li and Jinjun Xiong},
journal= {arXiv preprint arXiv:2403.08024},
year = {2024}
}