面向实用安全推理的高效机器学习模型
密码学与安全
2022-09-05 v2 机器学习
摘要
机器学习即服务持续增长，对极强隐私保障的需求也随之增长。安全推理已成为一种潜在的解决方案，其中密码学原语允许在不向模型提供者泄露用户输入、也不向用户泄露模型权重的情况下进行推理。例如，模型提供者可以是一家诊断公司，其训练了用于解读胸部 X 光的 state-of-the-art DenseNet-121 模型，而用户可以是医院中的患者。虽然安全推理在该场景下原则上可行，但现有技术方案均无法使其在大规模下实用。CrypTFlow2 框架提供了一种潜在解决方案，能够自动且正确地将明文推理翻译为任意模型的安全推理。然而，CrypTFlow2 所生成的安全推理代价高得 impractical：在 DenseNet-121 上解读单张 X 光片需要近 3TB 通信量。本文通过三项贡献解决这一安全推理低效的突出挑战。首先，我们表明安全推理的主要瓶颈在于大型线性层，可通过网络骨干的选择以及为高效明文推理所设计的算子的使用来优化。该发现与强调不同于许多近期聚焦于在较小网络上优化非线性激活层的工作。其次，基于对瓶颈卷积层的分析，我们设计了一种 X-operator，作为一种更高效的即插即用替代。第三，我们表明快速 Winograd 卷积算法可进一步提升安全推理效率。三者结合，这些优化对于在 CheXpert 数据集上训练的 X 光解读问题极为有效。
引用
@article{arxiv.2209.00411,
title = {Efficient ML Models for Practical Secure Inference},
author = {Vinod Ganesan and Anwesh Bhattacharya and Pratyush Kumar and Divya Gupta and Rahul Sharma and Nishanth Chandran},
journal= {arXiv preprint arXiv:2209.00411},
year = {2022}
}
备注
10 pages include references, 4 figures