面向资源受限客户端的零阶方差化联邦预训练热身
机器学习
2025-09-04 v1 人工智能
摘要
联邦学习允许在无需共享数据的情况下跨众多边缘设备进行协作模型训练；然而，边缘设备上的内存和通信约束可能使其无法参与训练。我们考虑一种情形，即某些边缘设备的内存或通信阈值低于完成模型更新所需的临界值。在典型的联邦优化算法下，这些设备被排除在训练之外，这导致其数据不可访问并增加系统引起的偏差。我们受到 MeZO——一种用于内存高效微调的零阶方法——的启发。先前的零阶优化器因其固有的方差而被局限于微调领域；我们致力于纠正这一局限。我们构思了一种联邦、内存高效的零阶优化器 ZOWarmUp，使其能够从随机初始化开始进行零阶训练。ZOWarmUp 利用不同客户端的能力差异并采用精心设计的方差缩减技术，以促进资源受限且被低估的客户端参与模型训练。像其他联邦零阶方法一样，ZOWarmUp 消除了边缘设备传输完整梯度的需求，仅依赖少量随机种子，从而将上行通信成本降低到可忽略的水平。我们使用各种数据集和模型架构进行实验，表明 ZOWarmUp 是一种稳健的算法，可在广泛的各种情况下应用。对于高比例的边缘设备（通常会被排除在训练之外）的系统，本算法提供了更大范围和更丰富样本数据的访问，从而改善训练结果。
引用
@article{arxiv.2509.03503,
title = {Warming Up for Zeroth-Order Federated Pre-Training with Low Resource Clients},
author = {Gwen Legate and Irina Rish and Eugene Belilovsky},
journal= {arXiv preprint arXiv:2509.03503},
year = {2025}
}