异步联邦学习结合差分隐私用于边缘智能
机器学习
2019-12-18 v1 最优化与控制
机器学习
摘要
联邦学习因其解决大规模机器学习中数据孤岛问题的巨大潜力，已成为铺平人工智能最后一公里的颇有前景的方法。特别地，考虑到实际边缘计算系统中的异构性，基于异步边云协作的联邦学习可通过显著减少掉队者效应进一步提升学习效率。尽管不共享原始数据，异步联邦学习(AFL)的开放架构与广泛协作仍给恶意参与者提供了推断他方训练数据的可乘之机，从而引发严重的隐私担忧。为在高效用下实现严格隐私保障，我们研究用差分隐私保护异步边云协作联邦学习，聚焦于差分隐私对AFL模型收敛的影响。形式上，我们首次给出DP下AFL模型收敛的分析，并提出多阶段可调隐私算法(MAPA)，通过动态调整噪声尺度与学习率来改善模型效用与隐私之间的权衡。通过大量仿真及基于边云测试台的实地实验，我们证明MAPA在充足隐私保障下显著提升了模型精度与收敛速度。
引用
@article{arxiv.1912.07902,
title = {Asynchronous Federated Learning with Differential Privacy for Edge Intelligence},
author = {Yanan Li and Shusen Yang and Xuebin Ren and Cong Zhao},
journal= {arXiv preprint arXiv:1912.07902},
year = {2019}
}