安全联邦子模型学习
机器学习
2019-11-12 v2 密码学与安全
分布式、并行与集群计算
机器学习
摘要
联邦学习被提出时带有一种引人入胜的愿景：在众多客户端之间实现协作机器学习，而无需将其私有数据上传至云服务器。然而，传统框架要求每个客户端利用完整模型进行学习，这对于资源受限的客户端和大规模深度学习任务而言可能效率极低。因此我们提出一种称为联邦子模型学习的新框架，其中客户端仅下载完整模型中所需的部分（即子模型），然后上传子模型更新。然而，客户端真正所需子模型的“位置”对应于其私有数据，在交互过程中向云服务器披露该位置不可避免地打破了联邦学习的宗旨。为兼顾效率与隐私，我们设计了一种以私有集并集协议为基石的安全联邦子模型学习方案。我们的安全方案具有随机响应、安全聚合和 Bloom 过滤器的特性，并基于局部差分隐私为每个客户端提供针对其期望子模型位置的定制化可否认性，从而保护其私有数据。我们进一步以阿里巴巴的电商推荐场景实例化该方案，实现原型系统，并基于 30 天淘宝用户数据广泛评估其性能。分析与评估结果从模型精度与收敛性、实际通信、计算和存储开销方面证明了我们方案的可行性与可扩展性，并彰显其相对于传统联邦学习框架的显著优势。
引用
@article{arxiv.1911.02254,
title = {Secure Federated Submodel Learning},
author = {Chaoyue Niu and Fan Wu and Shaojie Tang and Lifeng Hua and Rongfei Jia and Chengfei Lv and Zhihua Wu and Guihai Chen},
journal= {arXiv preprint arXiv:1911.02254},
year = {2019}
}