面向高效隐私推理的选择性网络线性化
密码学与安全
2022-06-09 v2 机器学习
摘要
隐私推理（PI）支持直接在加密安全数据上进行推理。尽管有望解决诸多隐私问题，但由于极端的运行时间，其应用有限。与延迟由 FLOPs 主导的明文推理不同，在 PI 中非线性的函数（即 ReLU）是瓶颈。因此，实用的 PI 需要新颖的 ReLU 感知优化。为降低 PI 延迟，我们提出一种基于梯度的算法，在保持预测精度的同时选择性地线性化 ReLU。我们在若干标准 PI 基准上评估了我们的算法。结果表明，在同等 ReLU 数量（50K）下精度提高至多 ，或在同等精度（70%）下延迟降低 ，优于当前最先进水平，并推进了延迟–精度空间中的帕累托前沿。为补充实证结果，我们提出一个“没有免费午餐”定理，阐明了在保持预测精度的情况下网络线性化何时以及如何可能。公开代码见 \url{https://github.com/NYU-DICE-Lab/selective_network_linearization}。
引用
@article{arxiv.2202.02340,
title = {Selective Network Linearization for Efficient Private Inference},
author = {Minsu Cho and Ameya Joshi and Siddharth Garg and Brandon Reagen and Chinmay Hegde},
journal= {arXiv preprint arXiv:2202.02340},
year = {2022}
}
备注
Published in ICML 2022