CDMA：一种面向通用极小极大问题的实用跨设备联邦学习算法
机器学习
2023-06-30 v4 分布式、并行与集群计算
摘要
极小极大问题出现在广泛的重要应用中，包括鲁棒对抗学习与生成对抗网络（GAN）训练。近来，联邦学习（FL）范式下极小极大问题的算法受到相当关注。现有面向通用极小极大问题的联邦算法要求每轮完整聚合（即聚合所有客户端的本地模型信息）。因此，它们不适用于FL中被称为跨设备设置的重要场景，该场景涉及大量不可靠的移动/IoT设备。本文开发了跨设备FL设置下通用极小极大问题的首个实用算法CDMA。CDMA基于“立即以足够响应启动”机制，其中服务器首先信号通知一子集客户端执行本地计算，然后在每轮收到足够客户端响应后即开始聚合客户端报告的本地结果。借助该机制，CDMA对低客户端可用性具有弹性。此外，CDMA在客户端本地更新步骤中融入轻量级全局校正，以减轻慢速网络连接的影响。我们在AUC最大化、鲁棒对抗网络训练与GAN训练任务上建立了CDMA在不同超参数选择下的理论保证并开展实验。理论与实验结果证明了CDMA的高效性。
引用
@article{arxiv.2105.14216,
title = {CDMA: A Practical Cross-Device Federated Learning Algorithm for General Minimax Problems},
author = {Jiahao Xie and Chao Zhang and Zebang Shen and Weijie Liu and Hui Qian},
journal= {arXiv preprint arXiv:2105.14216},
year = {2023}
}
备注
Extended version of paper https://doi.org/10.1609/aaai.v37i9.26246 which appeared in AAAI 2023