通过模型分割突破异构性联邦学习的内存壁垒

联邦学习（FL）使多个设备能够在保留数据隐私的同时协同训练共享模型。不断增长的模型复杂度以及参与设备上有限的内存资源严重瓶颈了 FL 在现实场景中的部署。因此，迫切需要一种框架能够有效突破内存壁垒，同时兼顾 FL 中的硬件与统计异构性。在本文中，我们提出了 SmartSplit—a一种有效降低设备端内存占用的框架，同时保证异构性 FL 的训练进度和模型准确性。为此，SmartSplit 采用层次化结构来自适应地指导整体训练过程。在每一训练轮中，由服务器上的中心管理器动态选择参与设备并综合考虑每个设备的内存预算、训练能力和数据分布，确定切割层。MEC 管理器部署在边缘服务器上，负责分割本地模型并执行服务器端部分的训练。同时，它基于时间演化的统计重要性对切割点进行微调。在每个移动设备内部嵌入的设备管理器持续监控本地训练状态，同时采用成本感知的检查点技术以匹配运行时的动态内存预算。针对代表性数据集，在商业可采购移动设备测试平台上进行了大量实验。实验结果表明，SmartSplit 在高度受内存约束的移动 SoC 上在 FL 训练中表现出色，实现了最高 94% 的峰值延迟降低和 100 倍的内存节省。它通过成本感知的重新计算实现了动态内存预算的自适应调整，并将准确率性能提升 1.49%-57.18%。