PATROL：面向隐私的剪枝用于抵御模型反演攻击的协同推理
机器学习
2023-11-14 v2 密码学与安全
摘要
协同推理已成为使资源受限的边缘设备能够使用最先进的深度神经网络（DNNs）进行推理的一种有前景的方案。在协同推理中，边缘设备首先将输入在本地送入部分 DNN，然后将中间结果上传至云端以完成推理。然而，近期研究表明模型反演攻击（MIAs）可从中间结果重建输入数据，对协同推理构成严重隐私隐患。现有的扰动与密码学技术在防御 MIAs 的同时进行准确推理方面效率低下且不可靠。本文提供了一种可行方案，称为 PATROL，其开发面向隐私的剪枝以平衡协同推理的隐私性、效率与效用。PATROL 利用 DNN 中较深层可提取更多任务特定特征这一事实。鉴于协同推理的本地资源有限，PATROL 意图基于剪枝技术在边缘部署更多层，以强化推理所需的任务特定特征并减少用于隐私保护的任务无关但敏感的特征。为实现面向隐私的剪枝，PATROL 引入两个关键组件：Lipschitz 正则化与对抗重建训练，前者通过降低 MIAs 的稳定性来增大重建误差，后者通过对抗训练增强目标推理模型。在一个真实的协同推理任务——车辆重识别上，我们展示了 PATROL 在抵御 MIAs 方面的优越性能。
引用
@article{arxiv.2307.10981,
title = {PATROL: Privacy-Oriented Pruning for Collaborative Inference Against Model Inversion Attacks},
author = {Shiwei Ding and Lan Zhang and Miao Pan and Xiaoyong Yuan},
journal= {arXiv preprint arXiv:2307.10981},
year = {2023}
}