面向边缘智能的不变性联邦学习：通过退出策略与不变性惩罚缓解异构性与异步性
机器学习
2025-04-17 v3
摘要
本文提出了一种用于资源受限边缘智能的不变性联邦学习系统。该框架能够通过退出策略与不变性惩罚缓解异构性与异步性的影响。我们将参数正交性引入边缘智能，以衡量异构与异步客户端的贡献或影响。本文证明了异常边缘客户端的退出能够保证模型在大多数客户端上的效果。同时，为了确保模型在退出的异常客户端以及缺乏训练资源的客户端上的性能，我们通过构建不变参数与异构参数的近似正交性，提出了具有不变性惩罚的泛化联邦学习（FedIPG）。理论证明表明，FedIPG 在不增加通信负担的情况下降低了 Out-Of-Distribution 预测损失。结合退出策略的 FedIPG 性能已在四个数据集上通过多种规模进行了实证测试。结果表明，我们的系统能够提升 In-Distribution 性能，并在保持模型收敛的同时，在 Out-Of-Distribution 泛化方面优于 state-of-the-art 算法。此外，可视化实验结果证明，FedIPG 在忽略混淆特征方面包含初步的因果性。
引用
@article{arxiv.2503.06158,
title = {Invariant Federated Learning for Edge Intelligence: Mitigating Heterogeneity and Asynchrony via Exit Strategy and Invariant Penalty},
author = {Ziruo Hao and Zhenhua Cui and Tao Yang and Bo Hu and Xiaofeng Wu and Hui Feng},
journal= {arXiv preprint arXiv:2503.06158},
year = {2025}
}