Circa：面向私有深度学习的随机 ReLU
机器学习
2021-06-17 v1 密码学与安全
摘要
机器学习即服务与用户隐私担忧的同步兴起，日益凸显了对私有推理（PI）的需求。尽管近期工作表明利用密码学原语实现 PI 是可行的，但计算开销使其不切实际。学界在很大程度上尚未准备好应对这些开销，因为 PI 中减速的根源在于 ReLU 算子，而明文推理的优化侧重于优化浮点运算次数（FLOPs）。在本文中，我们重新思考 ReLU 计算，并提出针对神经网络特性定制的 PI 优化。具体而言，我们将 ReLU 重新表述为一种近似符号测试，并引入一种用于该符号测试的新颖截断方法，显著降低了每次 ReLU 的成本。这些优化产生了一种特定类型的随机 ReLU。关键观察在于，这种随机错误行为非常契合神经网络推理的容错特性。因此，我们在不影响准确率的前提下实现了显著节省。我们将这些优化统称为 Circa，并展示了相较基线实现最高 4.7 倍存储与 3 倍运行时的改进；我们进一步表明，Circa 可叠加于近期 PI 优化之上，获得额外 1.8 倍加速。
引用
@article{arxiv.2106.08475,
title = {Circa: Stochastic ReLUs for Private Deep Learning},
author = {Zahra Ghodsi and Nandan Kumar Jha and Brandon Reagen and Siddharth Garg},
journal= {arXiv preprint arXiv:2106.08475},
year = {2021}
}