AESPA：用于快速隐私推理的保精度低次多项式激活函数
密码学与安全
2022-02-21 v2 机器学习
摘要
混合隐私推理（PI）协议协同利用多方计算（MPC）与同态加密，是最突出的 PI 技术之一。然而，即便最先进的 PI 协议也受限于非线性层，尤其是激活函数。尽管标准的非线性激活函数可生成更高的模型精度，但其必须通过代价高昂的混乱电路 MPC 原语来处理。多项式激活可通过 Beaver 乘法三元组 MPC 原语处理，但迄今为止一直导致严重的精度下降。本文提出一种保精度低次多项式激活函数（AESPA），其利用 ReLU 的 Hermite 展开与按基归一化。我们将 AESPA 应用于 VGGNet、ResNet 和预激活 ResNet 等流行 ML 模型，展现出与采用 ReLU 激活的标准模型相当的推理精度，优于先前低次多项式研究。当应用于最先进 Delphi PI 协议的全 ReLU 基线时，AESPA 的在线延迟与通信开销分别降低达 42.1 倍和 28.3 倍。
引用
@article{arxiv.2201.06699,
title = {AESPA: Accuracy Preserving Low-degree Polynomial Activation for Fast Private Inference},
author = {Jaiyoung Park and Michael Jaemin Kim and Wonkyung Jung and Jung Ho Ahn},
journal= {arXiv preprint arXiv:2201.06699},
year = {2022}
}
备注
11 pages, 5 figures