面向神经网络分割推理的无监督信息混淆方法
机器学习
2021-06-24 v2 信息论
math.IT
摘要
将网络计算在边缘设备与服务器之间分割，可实现神经网络的低边缘计算量推理，但可能向服务器暴露关于测试查询的敏感信息。为解决该问题，现有技术训练模型以针对给定的一组敏感属性最小化信息泄露。然而在实践中，测试查询可能包含训练时未预见到的属性。我们转而提出一种无监督混淆方法，以丢弃与主任务无关的信息。我们通过信息论框架表述该问题，并针对给定的模型输出失真推导了解析解。在我们的方法中，边缘设备根据其计算能力运行模型至某一分割层。然后，它基于服务器模型的第一层对所得特征向量进行混淆，通过去除零空间中的分量以及剩余信号的低能量分量来实现。我们的实验结果表明，我们的方法在去除无关属性信息并保持目标标签准确率方面优于现有技术。我们还表明，我们的方法降低了通信成本并仅带来较小的计算开销。
引用
@article{arxiv.2104.11413,
title = {Unsupervised Information Obfuscation for Split Inference of Neural Networks},
author = {Mohammad Samragh and Hossein Hosseini and Aleksei Triastcyn and Kambiz Azarian and Joseph Soriaga and Farinaz Koushanfar},
journal= {arXiv preprint arXiv:2104.11413},
year = {2021}
}