CryptoNAS：基于 ReLU 预算的私有推理
机器学习
2021-05-14 v2 密码学与安全
机器学习
摘要
机器学习即服务引发了围绕客户端数据与提供方模型的隐私担忧，并促进了私有推理（PI）研究：在不披露输入的情况下进行处理推理的方法。近来，研究者已适配密码学技术以表明 PI 可行，但所有方案均使推理延迟超出实用限制。本文观察到现有模型不适合 PI，并提出一种名为 CryptoNAS 的新型 NAS 方法，用于发现并定制模型以满足 PI 需求。关键洞见在于，PI 中算子延迟成本由非线性操作（如 ReLU）主导，而线性层实际上免费。我们发展了以 ReLU 预算作为推理延迟代理的思想，并使用 CryptoNAS 构建在给定预算内最大化准确率的模型。CryptoNAS 相较最先进水平将准确率提升 3.4%、延迟改善 2.4 倍。
引用
@article{arxiv.2006.08733,
title = {CryptoNAS: Private Inference on a ReLU Budget},
author = {Zahra Ghodsi and Akshaj Veldanda and Brandon Reagen and Siddharth Garg},
journal= {arXiv preprint arXiv:2006.08733},
year = {2021}
}