Fed-ZOE：基于零阶估计的通信高效过空聚合联邦学习
机器学习
2024-12-24 v1 信号处理
摘要
随着 6G 及更高网络变得越来越复杂和互联，联邦学习 (FL) 作为一种安全且高效地利用去中心化边缘数据进行 AI 的不可或缺范畴。凭借通信信号的叠加特性，过空聚合联邦学习 (OtA-FL) 能够实现与边缘设备 (ED) 数量无关的常数通信开销。然而，仍然会在传输符号数量等于可训练参数数量的前提下，导致通过空中训练神经网络仍然产生巨大的通信成本。为此，最直接的解决方法是通过 1) 梯度压缩 和 2) 梯度稀疏化来减少传输符号的数量。不幸的是，这些方法与 OtA-FL 不兼容，因会丢失其叠加特性。在本工作中，我们引入了名为 Fed-ZOE 的联邦零阶估计 (Fed-ZOE)，这是一种受随机梯度估计器 (RGE) 启发的高效框架，后者常用于零阶优化 (ZOO)。在 FedZOE 中，ED 执行标准 FL 中的本地权重更新，但不发送完整的梯度向量，而是以若干标量值形式发送本地模型更新向量与随机向量之间的内积。这一标量值使参数服务器 (PS) 能够通过 RGE 技巧以极低的开销重建梯度，同时保持叠加特性。与传统基于 RGE 的逐步梯度下降不同的的是，Fed-ZOE 在传输前压缩本地模型更新向量，从而实现更高的准确率和计算效率。使用 ResNet-18 在 CIFAR-10、TinyImageNet、SVHN、CIFAR-100 和 Brain-CT 等数据集上的数值评估表明，Fed-ZOE 在性能上与 Fed-OtA 相当，但通信成本大幅降低。
引用
@article{arxiv.2412.16779,
title = {Fed-ZOE: Communication-Efficient Over-the-Air Federated Learning via Zeroth-Order Estimation},
author = {Jonggyu Jang and Hyeonsu Lyu and David J. Love and Hyun Jong Yang},
journal= {arXiv preprint arXiv:2412.16779},
year = {2024}
}
备注
13 pages