Sisyphus：在隐私保护深度学习中采用低次多项式激活函数的警示故事
机器学习
2021-11-04 v2 密码学与安全
摘要
客户端-服务器机器学习中的隐私问题催生了私有推理（PI），即神经网络直接在加密输入上进行推断。PI 保护客户的个人数据与服务器的知识产权。PI 中的常见做法是使用混淆电路（garbled circuits）私密地计算非线性函数，即 ReLU。然而，混淆电路存在高存储、高带宽与高延迟成本。为缓解这些问题，已采用 PI 友好的多项式激活函数替代 ReLU。在本文中，我们探讨：是否可行将所有 ReLU 替换为低次多项式激活函数以构建深度的、隐私友好的神经网络？我们通过分析以多项式替代 ReLU 的挑战来探究该问题，从简单的丢弃-替换方案到新颖、更复杂的替换-重训练策略。我们审视每种方法的局限性，并就多项式激活函数在 PI 中的使用给出评论。我们发现所有被评估的方案都遭受逃逸激活问题：前向激活值不可避免地开始以指数速率偏离多项式的稳定区域扩张，从而导致值爆炸（NaNs）或糟糕的近似。
引用
@article{arxiv.2107.12342,
title = {Sisyphus: A Cautionary Tale of Using Low-Degree Polynomial Activations in Privacy-Preserving Deep Learning},
author = {Karthik Garimella and Nandan Kumar Jha and Brandon Reagen},
journal= {arXiv preprint arXiv:2107.12342},
year = {2021}
}
备注
Accepted to PPML (ACM CCS) 2021