一种基于神经网络的面向不平衡与非独立同分布数据的联邦学习新系统

随着机器学习技术的发展，用户数据隐私已成为主要关注问题。大多数机器学习算法严重依赖可能来自多种来源的大量数据。在收集这些数据的同时维护隐私策略已成为研究者最艰巨的任务之一。为应对此问题，研究者提出了联邦学习（federated learning），其在确保客户端数据隐私的前提下学习预测模型。然而，现有联邦学习算法存在精度与效率的权衡，尤其对于非独立同分布（non-IID）数据。在本研究中，我们提出一种集中式的、基于神经网络的联邦学习系统。该集中式算法融合了受传统小批量（mini-batch）算法启发的微级并行处理，其中客户端设备与服务器分别处理前向与反向传播。我们还设计了所提算法的半集中式版本。该算法利用边缘计算以减轻中央服务器负载，其中客户端同时处理前向与反向传播，但在一定程度上牺牲了整体训练时间。我们在五个知名基准数据集上评估所提系统，相较于一些现有基准算法，在各种数据分布设定下于合理时间内取得了令人满意的性能。