Heroes：异构边缘网络中结合神经组合与自适应本地更新的轻量级联邦学习

联邦学习（FL）使分布式客户端能够在不暴露私有数据的情况下协同训练模型。然而，由于资源有限，难以实现高效的FL。大多数现有工作通过压缩传输的梯度或剪枝全局模型来降低资源开销，但导致被压缩或剪枝的参数优化不足，从而降低了训练性能。为解决此问题，神经组合技术通过组合低秩张量构建尺寸可调的模型，使全局模型中的每个参数都能从所有客户端学习知识。然而，某些张量只能由一小部分客户端优化，因此全局模型可能训练不充分，导致完成时间长，尤其在异构边缘场景下。为此，我们改进了神经组合技术，使所有参数都能被充分训练。进一步，我们提出了一种名为Heroes的轻量级FL框架，其具备增强的神经组合与自适应本地更新。设计了一种基于贪心的算法，根据参与客户端的异构能力和资源预算，自适应地分配合适的张量及本地更新频率。大量实验表明，与基线相比，Heroes能减少约72.05\%的流量消耗，并提供高达2.97$\times$的加速。