基于小数据集的联邦学习
机器学习
2023-10-13 v3 人工智能
分布式、并行与集群计算
摘要
联邦学习允许多方在不共享本地数据的情况下协作训练联合模型。这使得机器学习能够应用于 inherently distributed、不可披露的数据场景，例如医疗领域。在实践中，联合训练通常通过聚合本地模型来实现，为此本地训练目标必须在期望上类似于联合（全局）目标。然而，本地数据集往往非常小，以至于本地目标与全局目标差异巨大，导致联邦学习失败。我们提出了一种将模型聚合与本地模型置换交织在一起的新方法。这些置换使每个本地模型暴露于本地数据集的菊花链中，从而在数据稀疏领域实现更高效的训练。这使得能够在极小的本地数据集（如跨医院的患者数据）上进行训练，同时保留联邦学习的训练效率与隐私优势。
引用
@article{arxiv.2110.03469,
title = {Federated Learning from Small Datasets},
author = {Michael Kamp and Jonas Fischer and Jilles Vreeken},
journal= {arXiv preprint arXiv:2110.03469},
year = {2023}
}