分层无线网络上的联邦学习：通过子模型划分最小化训练时延
机器学习
2025-01-28 v2 信息论
信号处理
math.IT
摘要
分层联邦学习（HFL）相比基于传统“星型拓扑”架构的联邦学习（FL）已展现出可观的可扩展性优势。然而，HFL 仍在边缘侧带来显著的计算、通信与存储负担，尤其在资源受限的无线设备上训练大规模模型时。本文提出分层独立子模型训练（HIST），一种旨在解决分层云-边-端网络中这些问题的新 FL 方法。HIST 的核心思想是将全局模型每轮划分为互不相交的分区（或子模型），使每组客户端（即小区）仅负责训练模型的一个分区。我们在温和假设下刻画了 HIST 的收敛行为，展示了若干关键属性（如子模型大小、小区数量、边缘与全局聚合频率）对收敛速率与平稳性差距的影响。基于理论结果，我们提出了一种依据网络资源可用性与目标学习性能保障来最小化训练时延的子模型划分策略。随后我们展示了如何借助空中计算（AirComp）增强 HIST，以进一步提升边缘小区上模型聚合的效率。通过数值评估，我们验证了 HIST 能在以与传统 HFL 相当精度下大幅节省训练时间与通信开销。此外，实验表明 AirComp 辅助的 HIST 进一步改善了训练时延。
引用
@article{arxiv.2310.17890,
title = {Federated Learning over Hierarchical Wireless Networks: Training Latency Minimization via Submodel Partitioning},
author = {Wenzhi Fang and Dong-Jun Han and Christopher G. Brinton},
journal= {arXiv preprint arXiv:2310.17890},
year = {2025}
}
备注
26 pages, 9 figures, 3 tables