EvoFed：利用进化策略实现通信高效联邦学习
机器学习
2023-11-14 v1 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
联邦学习（FL）是一种去中心化机器学习范式，能够在分散节点间协作训练模型而无需强制各节点共享数据。然而，其广泛采用受限于传输大量模型参数的高通信成本。本文提出 EvoFed，一种将进化策略（ES）与 FL 结合以应对这些挑战的新方法。EvoFed 采用“基于适应度的信息共享”概念，显著偏离传统的基于模型的 FL。各节点不交换实际更新的模型参数，而是传输本地更新模型与噪声扰动模型种群中每个成员间基于距离的相似度度量。每个节点以及服务器使用相同随机种子以完全同步方式生成相同的扰动模型种群集。通过适当选择的噪声方差和种群大小，扰动模型可组合以紧密反映使用本地数据集实际更新的模型，使传输的相似度度量（或适应度值）携带近乎完整的模型参数信息。由于种群大小通常远小于模型参数数量，通信负载的节省是巨大的。服务器聚合这些适应度值并能更新全局模型。该全局适应度向量随后被传回节点，每个节点应用相同更新以与全局模型同步。我们的分析表明 EvoFed 收敛，且实验结果表明，以增加的本地处理负载为代价，EvoFed 在各种实际设置中大幅降低总体通信需求的同时达到了与 FedAvg 相当的性能。
引用
@article{arxiv.2311.07485,
title = {EvoFed: Leveraging Evolutionary Strategies for Communication-Efficient Federated Learning},
author = {Mohammad Mahdi Rahimi and Hasnain Irshad Bhatti and Younghyun Park and Humaira Kousar and Jaekyun Moon},
journal= {arXiv preprint arXiv:2311.07485},
year = {2023}
}