面向资源受限物联网的联邦学习-蒸馏交替机制
信号处理
2025-05-28 v1 机器学习
摘要
由于设备在能量和通信资源方面的限制，联邦学习（FL）在物联网网络中面临重大挑战，尤其是在考虑到 FL 模型尺寸较大的情况下。从能量角度来看，如果设备依赖能量收集（EH），挑战会进一步加剧，因为能量可用性会随时间显著变化，从而影响每次迭代中参与用户的平均数量。此外，在共享无线环境中，大型模型更新的传输更容易受到不相关背景流量的干扰。作为替代方案，联邦蒸馏（FD）通过传输局部模型输出来减少通信开销和能量消耗，这些输出通常比 FL 中使用的整个模型小得多。然而，这是以降低模型准确性为代价的。因此，在本文中，我们提出了联邦学习-蒸馏交替机制（FLDA）。在 FLDA 中，设备在 FD 和 FL 阶段之间交替进行，在每次迭代中平衡模型信息与较低的通信开销和能量消耗。我们考虑了一个受背景流量/干扰影响的多信道时隙 ALOHA EH-IoT 网络。在这种情况下，FLDA 表现出比 FL 和 FD 更高的模型准确性，并且比 FL 收敛更快。此外，相对于 FL，FLDA 在达到目标准确率时可节省高达 98% 的能量消耗，同时对干扰的敏感度也更低。
引用
@article{arxiv.2505.20456,
title = {Federated Learning-Distillation Alternation for Resource-Constrained IoT},
author = {Rafael Valente da Silva and Onel L. Alcaraz López and Richard Demo Souza},
journal= {arXiv preprint arXiv:2505.20456},
year = {2025}
}