中文

不止于隐私:提升移动云中私有深度学习的性能

机器学习 2019-01-08 v3 人工智能 分布式、并行与集群计算 机器学习

摘要

对设备上深度学习服务日益增长的需求,要求以高效的方式在容量有限的移动设备上部署深度神经网络(DNNs)。基于云的解决方案是一种有前景的方法,可使移动设备上的深度学习应用得以实现,其中 DNN 的大部分被卸载到云端。然而,将数据暴露给云会导致潜在的隐私风险。为了在不承担隐私风险的情况下受益于云数据中心,我们设计、评估并实现了一种基于云的框架 ARDEN,该框架将 DNN 划分到移动设备与云数据中心之间。移动设备上执行简单的数据变换,而耗费资源的训练与复杂推理则依赖云数据中心。为保护敏感信息,引入了由任意数据置零与随机噪声添加组成的轻量级隐私保护机制,其提供了强隐私保证。我们给出了严格的隐私预算分析。尽管如此,对原始数据的私有扰动不可避免地会对云端进一步推理的性能产生负面影响。为减轻此影响,我们提出了一种噪声训练方法以增强云端网络对扰动数据的鲁棒性。通过精巧的设计,ARDEN 不仅能保护隐私,还能提升推理性能。为验证所提出的 ARDEN,基于三个图像数据集与一个真实移动应用进行了一系列实验。实验结果证明了 ARDEN 的有效性。最后,我们在演示系统上实现了 ARDEN 以验证其实用性。

关键词

引用

@article{arxiv.1809.03428,
  title  = {Not Just Privacy: Improving Performance of Private Deep Learning in Mobile Cloud},
  author = {Ji Wang and Jianguo Zhang and Weidong Bao and Xiaomin Zhu and Bokai Cao and Philip S. Yu},
  journal= {arXiv preprint arXiv:1809.03428},
  year   = {2019}
}

备注

Conference version accepted by KDD'18