FlexFL：基于 APoZ 引导的异构性联邦学习框架及其在不确定情景下的灵活剪枝
分布式、并行与集群计算
2024-07-18 v1
摘要
随着深度学习（DL）技术的日益流行，越来越多的人工智能物联网（AIoT）系统正在采用联邦学习（FL）以实现对 AIoT 设备之间进行隐私友好型的协作式学习。然而，由于数据和设备异构性问题的内在存在，现有的基于 FL 的 AIoT 系统面临模型选择问题。尽管已调查了各种异构 FL 方法以实现异构模型之间的协同训练，但仍缺乏 i) 为设备制定明智的异构模型生成方法，ii) 考虑不确定因素，以及 iii) 针对大规模模型的性能保障，从而严重限制了整体 FL 性能。为解决上述问题，本文引入了名为 FlexFL 的新型异构 FL 框架。通过采用基于平均零百分比（APoZ）引导的灵活剪枝策略，FlexFL 能够有效地为异构设备导出最佳匹配模型，以探索其最大潜能。同时，本文提出的自适应局部剪枝策略允许 AIoT 设备根据其可变资源在不确定情景下对接收到的模型进行剪枝。此外，基于自我知识蒸馏，FlexFL 可通过从小模型学习知识来增强大模型的推理性能。综合实验结果表明，与当前最先进的异构 FL 方法相比，FlexFL 可将整体推理准确率提高最高可达 14.24%。
引用
@article{arxiv.2407.12729,
title = {FlexFL: Heterogeneous Federated Learning via APoZ-Guided Flexible Pruning in Uncertain Scenarios},
author = {Zekai Chen and Chentao Jia and Ming Hu and Xiaofei Xie and Anran Li and Mingsong Chen},
journal= {arXiv preprint arXiv:2407.12729},
year = {2024}
}