基于背包优化保护神经网络
计算机视觉与模式识别
2024-01-01 v2
摘要
持有神经网络的 MLaaS 服务提供商（SP）希望保持神经网络权重秘密。另一方面，用户希望利用 SP 的神经网络进行推理而不泄露其数据。多方计算（MPC）提供了实现此目标的方案。MPC 中的计算涉及通信，因为各方来回发送数据。非线性操作通常是主要瓶颈，需要大部分通信带宽。本文中，我们关注作为许多计算机视觉任务骨干的 ResNet，旨在减少其非线性组件，具体而言即 ReLU 的数量。我们的核心见解是空间邻近像素表现出相关的 ReLU 响应。基于此见解，我们将逐像素 ReLU 操作替换为逐块 ReLU 操作。我们称此方法为“Block-ReLU”。由于神经网络中不同层对应不同特征层次，允许神经网络各层具有块大小灵活性是合理的。我们设计了一种算法，通过将问题新颖地归约为背包问题来选取最优块大小集合。我们在半诚实安全三方设定下针对四个问题演示了我们的方法：使用 ResNet50 骨干分类 ImageNet、使用 ResNet18 骨干分类 CIFAR100、使用 MobileNetV2 骨干对 ADE20K 进行语义分割，以及使用 ResNet50 骨干对 Pascal VOC 2012 进行语义分割。我们的方法相较于少数竞争对手取得了有竞争力的性能。我们的源代码公开可用：https://github.com/yg320/secure_inference。
引用
@article{arxiv.2304.10442,
title = {Securing Neural Networks with Knapsack Optimization},
author = {Yakir Gorski and Amir Jevnisek and Shai Avidan},
journal= {arXiv preprint arXiv:2304.10442},
year = {2024}
}