面向异构数据源的非联邦多任务分割学习

随着边缘网络和移动计算的发展，在网络边缘服务异构数据源的需求要求设计新的分布式机器学习机制。作为一种流行的方法，联邦学习（FL）在客户端和服务器之间采用参数共享和梯度平均。尽管它具有许多优点，例如收敛性和数据隐私保证，但众所周知，经典的FL无法解决客户端之间数据异构性和计算异构性的挑战。大多数旨在适应此类异构性来源的现有工作仍停留在FL操作范式内，通过修改来克服异构数据的负面影响。在这项工作中，作为一种替代范式，我们提出了一个多任务分割学习（MTSL）框架，该框架结合了分割学习（SL）的优势与分布式网络架构的灵活性。与FL对应物相比，在这种范式中，异构性不是需要克服的障碍，而是可以利用的有用属性。因此，这项工作旨在引入一种新的架构和方法，以有效地对异构数据源执行多任务学习，希望鼓励社区进一步探索我们所揭示的潜在优势。为了支持这一承诺，我们首先通过理论分析表明，MTSL可以通过调整服务器和客户端的学习率来实现快速收敛。然后，我们在几个图像分类数据集上将MTSL的性能与现有的多任务FL方法进行数值比较，以表明MTSL在训练速度、通信成本和对异构数据的鲁棒性方面优于FL。