PrivyNet：一种用于隐私保护深度神经网络训练的灵活框架
机器学习
2018-01-15 v3
摘要
用户本地平台上存在海量数据，但由于计算和存储资源的限制，通常无法在这些平台上进行深度神经网络（DNN）训练。基于云的训练方案提供了有益的服务，但由于过度收集用户数据而面临潜在的隐私风险。为了在实现基于云的 DNN 训练的同时保护数据隐私，我们提出利用数据的中间表示，这通过拆分 DNN 并将其分别部署在本地平台和云端来实现。本地神经网络（NN）用于生成特征表示。为避免本地训练并保护数据隐私，本地 NN 源自预训练的 NN。随后，基于针对目标学习任务提取的中间表示对云端 NN 进行训练。我们通过刻画基于卷积神经网络（CNN）的图像分类任务中隐私损失和分类精度对本地 NN 拓扑的依赖关系，验证了 DNN 拆分的想法。基于上述刻画，我们进一步提出 PrivyNet 以确定本地 NN 拓扑，在隐私损失、本地计算和存储的约束下优化目标学习任务的精度。使用 CIFAR-10 数据集验证了 PrivyNet 的有效性与效率。
引用
@article{arxiv.1709.06161,
title = {PrivyNet: A Flexible Framework for Privacy-Preserving Deep Neural Network Training},
author = {Meng Li and Liangzhen Lai and Naveen Suda and Vikas Chandra and David Z. Pan},
journal= {arXiv preprint arXiv:1709.06161},
year = {2018}
}
备注
20 pages, 25 figures