面向跨医院学习的基于元梯度调度联邦深度学习
机器学习
2021-07-06 v1 密码学与安全
分布式、并行与集群计算
摘要
鉴于当今个人数据的丰富与易获取，个人隐私已变得至关重要，尤其在医疗健康领域。本工作中，我们旨在利用从多个医院数据中心提取的患者数据训练机器学习模型，且不牺牲患者隐私。我们开发了一种调度算法，并与以联邦方式部署的师生算法结合。这使得中心模型能从每个联邦节点处的批次数据中学习。教师在数据中心之间运作，利用存储于各数据中心的数据更新主任务（学生）算法。我们展示了经元梯度训练的调度器能有效组织训练，从而在不需显式访问患者数据的情况下于多样化数据集上训练机器学习模型。我们取得了 SOTA 性能，并展示了我们的方法如何克服联邦学习中面临的一些问题，如节点投毒。我们进一步展示了调度器如何用作迁移学习的机制，允许不同教师协作训练学生以获得 SOTA 性能。
引用
@article{arxiv.2107.01707,
title = {Towards Scheduling Federated Deep Learning using Meta-Gradients for Inter-Hospital Learning},
author = {Rasheed el-Bouri and Tingting Zhu and David A. Clifton},
journal= {arXiv preprint arXiv:2107.01707},
year = {2021}
}
备注
11 pages, 8 figures