OLALa：面向异构联邦学习的在线学习自适应格码
信号处理
2025-06-26 v1 机器学习
摘要
联邦学习(FL)使得分布式客户端无需共享原始数据即可进行协作训练，但通常以传输高维模型更新带来的大量通信开销为代价。这种开销可以通过让客户端量化其模型更新来缓解，其中抖动格量化器因其结构简单和保持收敛的特性而被认为是一种有吸引力的方案。然而，现有的基于格的FL方案通常依赖于固定的量化规则，这在模型更新分布随用户和训练轮次变化的异构和动态环境中是次优的。在这项工作中，我们提出了在线学习自适应格(OLALa)，这是一个异构FL框架，其中每个客户端可以使用轻量级的本地计算在线调整其量化器。我们首先推导了使用非固定格量化器的FL的收敛性保证，并表明适当的格自适应可以收紧收敛界。然后，我们设计了一种在线学习算法，使客户端能够在整个FL过程中调整其量化器，同时仅交换一组紧凑的量化参数。数值实验表明，OLALa在各种量化率下持续提高学习性能，优于传统的固定码本和非自适应方案。
引用
@article{arxiv.2506.20297,
title = {OLALa: Online Learned Adaptive Lattice Codes for Heterogeneous Federated Learning},
author = {Natalie Lang and Maya Simhi and Nir Shlezinger},
journal= {arXiv preprint arXiv:2506.20297},
year = {2025}
}
备注
Under review for publication in the IEEE