FedSL：基于循环神经网络在分布式序列数据上的联邦拆分学习

联邦学习（FL）与拆分学习（SL）是保护隐私的机器学习（ML）技术，能够在数据分布于各客户端的情况下训练 ML 模型而无需直接访问其原始数据。现有的 FL 与 SL 方法处理水平或垂直划分的数据，无法处理序列划分的数据，即多段序列数据的各段分布在不同客户端上。本文中，我们提出一种新颖的联邦拆分学习框架 FedSL，以在分布式序列数据上训练模型。在序列数据上训练的最常见 ML 模型是循环神经网络（RNNs）。由于所提框架保护隐私，多段序列数据的片段不能在客户端之间或客户端与服务器之间共享。为规避此限制，我们提出一种专为 RNN 设计的新型 SL 方法。将 RNN 拆分为子网络，每个子网络在一个包含多段训练序列中单段的客户端上训练。在本地训练期间，不同客户端上的子网络相互通信以捕获不同客户端上多段序列数据连续段之间的潜在依赖关系，但不共享原始数据或完整模型参数。使用本地序列数据段训练本地子网络后，所有客户端将其子网络发送至联邦服务器，在服务器上聚合子网络以生成全局模型。在模拟与真实世界数据集上的实验结果表明，所提方法成功在分布式序列数据上训练模型，同时保护隐私，并且在更少通信轮次内实现更高准确率方面优于先前的 FL 与集中式学习方法。