面向具有水平与垂直数据划分的电子健康的通信高效混合联邦学习
机器学习
2024-04-17 v1 分布式、并行与集群计算
摘要
电子健康允许智能设备与医疗机构协作收集患者数据，并通过人工智能（AI）技术对其进行训练以辅助医生进行诊断。通过允许多个设备协作训练模型，联邦学习成为解决电子健康中通信与隐私问题的一种极具前景的方案。然而，将联邦学习应用于电子健康面临诸多挑战。首先，医疗数据同时存在水平与垂直划分。由于单一的水平联邦学习（Horizontal Federated Learning, HFL）或垂直联邦学习（Vertical Federated Learning, VFL）技术无法同时处理这两种数据划分，在要求高建模精度时直接应用它们可能会因传输部分原始数据而消耗过多的通信开销。其次，HFL与VFL的简单组合存在局限性，包括训练效率低、收敛分析不完善以及缺乏参数调优策略。本文对HFL与VFL的有效整合进行了深入研究，以在数据同时存在水平与垂直划分时实现通信效率并克服上述局限性。具体而言，我们提出了一种具有一次中间结果交换与两个聚合阶段的混合联邦学习框架。基于该框架，我们开发了一种混合随机梯度下降（Hybrid Stochastic Gradient Descent, HSGD）算法来训练模型。随后，我们从理论上分析了所提算法的收敛上界。利用收敛结果，我们设计了自适应策略以调整训练参数并缩减传输数据的大小。实验结果验证了所提HSGD算法能够在降低通信开销的同时达到预期精度，并且也验证了自适应策略的有效性。
引用
@article{arxiv.2404.10110,
title = {Communication-Efficient Hybrid Federated Learning for E-health with Horizontal and Vertical Data Partitioning},
author = {Chong Yu and Shuaiqi Shen and Shiqiang Wang and Kuan Zhang and Hai Zhao},
journal= {arXiv preprint arXiv:2404.10110},
year = {2024}
}