分层空中联邦梯度归一化
机器学习
2022-12-15 v1 信息论
信号处理
math.IT
机器学习
摘要
多任务学习（MTL）是一种利用单一共享网络同时学习多个相关任务的学习范式，其中每个任务具有一个不同的个性化头部网络用于微调。如果任务分布在各客户端且客户端拥有单一共享网络，MTL 可集成到联邦学习（FL）设置中，从而形成个性化联邦学习（PFL）。为应对跨客户端的联邦设置中会显著降级学习性能的统计异质性，我们采用分布式动态加权方法。为在功率和带宽受限体制下通过噪声信道在远程参数服务器（PS）与客户端之间高效通信，我们利用空中（OTA）聚合与分层联邦学习（HFL）。因此，我们提出了带有动态加权策略的分层空中（HOTA）PFL，称之为 HOTA-FedGradNorm。我们的算法在动态权重选择过程中考虑信道条件。我们在无线通信系统数据集（RadComDynamic）上进行了实验。实验结果表明，与采用朴素静态等权策略的算法相比，HOTA-FedGradNorm 的训练速度更快。此外，HOTA-FedGradNorm 通过在动态权重选择过程中补偿信道条件，提供了针对负面信道效应的鲁棒性。
引用
@article{arxiv.2212.07414,
title = {Hierarchical Over-the-Air FedGradNorm},
author = {Cemil Vahapoglu and Matin Mortaheb and Sennur Ulukus},
journal= {arXiv preprint arXiv:2212.07414},
year = {2022}
}