DRFLM：基于局部Mixup的客户端间噪声分布鲁棒联邦学习
机器学习
2022-04-19 v1 分布式、并行与集群计算
机器学习
摘要
近来，联邦学习已成为一种前景广阔的方法，可利用多家机构的数据训练全局模型而不泄露其原始数据。然而，将联邦学习直接应用于现实任务面临两大挑战：(1)不同机构间的数据异质性；(2)各机构内部的数据噪声。本文提出一个通用框架同时解决上述两挑战。具体而言，我们提出使用分布鲁棒优化来缓解数据异质性带来的负面影响，该范式在每次迭代时基于可学习分布对客户端进行采样。此外，我们观察到该优化范式易受本地客户端内数据噪声的影响，导致全局模型预测精度显著下降。为解决此问题，我们提出将mixup技术引入联邦学习的本地训练过程。我们进一步提供了包括鲁棒性分析、收敛性分析和泛化能力在内的全面理论分析。此外，我们在不同药物发现任务（如ADMET性质预测和药物-靶点亲和力预测）上进行了实证研究。
引用
@article{arxiv.2204.07742,
title = {DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup},
author = {Bingzhe Wu and Zhipeng Liang and Yuxuan Han and Yatao Bian and Peilin Zhao and Junzhou Huang},
journal= {arXiv preprint arXiv:2204.07742},
year = {2022}
}