面向分布式特征的高效通信协同学习框架
机器学习
2020-08-03 v6 人工智能
机器学习
摘要
我们引入一种协同学习框架，允许拥有关于同一用户不同属性集的多个参与方在不暴露其原始数据或模型参数的情况下联合构建模型。特别地，我们提出联邦随机块坐标下降（FedBCD）算法，其中每个参与方在每次通信前进行多次本地更新，以有效减少参与方之间的通信轮数——这是协同学习问题的主要瓶颈。我们从理论上分析了本地更新次数的影响，并表明当批量大小、样本量和本地迭代次数选择恰当时，在 次迭代内，该算法执行 轮通信，并达到某 的精度（以梯度范数平方的平均值度量）。该方法得到我们在多种任务和数据集上的实证评估支持，展示了相对于随机梯度下降（SGD）方法的优势。
引用
@article{arxiv.1912.11187,
title = {A Communication Efficient Collaborative Learning Framework for Distributed Features},
author = {Yang Liu and Yan Kang and Xinwei Zhang and Liping Li and Yong Cheng and Tianjian Chen and Mingyi Hong and Qiang Yang},
journal= {arXiv preprint arXiv:1912.11187},
year = {2020}
}
备注
This paper is published at the 2nd International Workshop on Federated Learning for Data Privacy and Confidentiality, in Conjunction with NeurIPS 2019 (FL-NeurIPS 19): https://nips.cc/Conferences/2019/ScheduleMultitrack?event=13202