面向多方纵向协作学习的隐私保护异步联邦学习算法
机器学习
2020-08-17 v1 机器学习
摘要
针对纵向划分数据的隐私保护联邦学习已成为新兴多方联合建模应用的颇具前景的解决方案，其中数据持有方（如政府分支、私营金融与电商企业）在整个学习过程中协作，而非依赖可信第三方持有数据。然而，现有纵向划分数据的联邦学习算法局限于同步计算。为在联邦学习系统中各参与方普遍存在计算/通信资源不均衡时提升效率，亟需在不泄露数据隐私的前提下开发纵向划分数据的异步训练算法。本文中，我们提出一种异步联邦 SGD（AFSGD-VP）算法及其在纵向划分数据上的 SVRG 与 SAGA 变体。此外，我们在强凸条件下给出了 AFSGD-VP 及其 SVRG 与 SAGA 变体的收敛性分析。我们还讨论了它们的模型隐私、数据隐私、计算复杂度与通信开销。据我们所知，AFSGD-VP 及其 SVRG 与 SAGA 变体是首批面向纵向划分数据的异步联邦学习算法。在多种纵向划分数据集上的大量实验结果不仅验证了 AFSGD-VP 及其 SVRG 与 SAGA 变体的理论结果，也表明我们的算法比相应的同步算法效率高得多。
引用
@article{arxiv.2008.06233,
title = {Privacy-Preserving Asynchronous Federated Learning Algorithms for Multi-Party Vertically Collaborative Learning},
author = {Bin Gu and An Xu and Zhouyuan Huo and Cheng Deng and Heng Huang},
journal= {arXiv preprint arXiv:2008.06233},
year = {2020}
}