通过渐进式层冻结实现异构感知的内存高效联邦学习
分布式、并行与集群计算
2024-08-20 v1
摘要
本文提出SmartFreeze框架，通过渐进式训练有效减少内存占用。SmartFreeze并非在每轮训练中更新完整模型，而是将共享模型划分为由特定数量层组成的块。它首先使用精心设计的输出模块训练前端块，在收敛后安全冻结该块，然后触发下一个块的训练。此过程迭代进行，直至整个模型成功训练完毕。通过这种方式，冻结块的反向计算以及用于存储中间输出和梯度的相应内存空间得以有效节省。除渐进式训练框架外，SmartFreeze还包含以下两个核心组件：节奏控制器和参与者选择器。节奏控制器旨在运行时有效监控每个块的训练进度，并在收敛后安全冻结它们；而参与者选择器则通过综合考虑内存容量、统计异构性和系统异构性，为每个块的训练选择合适的设备参与。我们在仿真和硬件测试平台上进行了大量实验，以评估SmartFreeze的有效性。结果表明，SmartFreeze平均内存使用量最多可减少82%。同时，它还将模型准确率最多提高了83.1%，并将训练过程加速了最多2.02倍。
引用
@article{arxiv.2408.09101,
title = {Heterogeneity-Aware Memory Efficient Federated Learning via Progressive Layer Freezing},
author = {Wu Yebo and Li Li and Tian Chunlin and Chang Tao and Lin Chi and Wang Cong and Xu Cheng-Zhong},
journal= {arXiv preprint arXiv:2408.09101},
year = {2024}
}
备注
Published as a conference paper at IWQoS 2024