无异构性鲁棒联邦学习
机器学习
2025-08-07 v2 网络与互联网体系结构
摘要
联邦学习（FL）在面对投毒攻击时极其脆弱，尤其是在真实世界中的超高异构性情境下——此时客户端在数据分布、通信能力和模型架构方面差异巨大。这种异构性不仅削弱了聚合策略的效果，还使攻击更难检测。此外，高维模型扩大了攻击面。为此，我们提出Horus，一种以低秩适应（LoRA）为核心的无异构性鲁棒FL框架。我们不聚合完整模型参数，而是将LoRA插入经验上稳定的层，仅聚合LoRA以降低攻击暴露。我们发现，输入投影（LoRA-A）在异构性和投毒情况下显著比输出投影（LoRA-B）更稳定。基于此，我们设计了基于LoRA-A特征的无异构性投毒评分，用于过滤被投毒客户端。对于剩余良性客户端，我们提出基于投影的聚合机制，既保留协作信号，又抑制漂移，通过与全局方向的一致性对客户端更新进行加权。广泛实验覆盖多种数据集、模型架构和攻击形式，表明Horus在鲁棒性和准确性方面均 consistently优于最先进的基线方法。
引用
@article{arxiv.2508.03579,
title = {Heterogeneity-Oblivious Robust Federated Learning},
author = {Weiyao Zhang and Jinyang Li and Qi Song and Miao Wang and Chungang Lin and Haitong Luo and Xuying Meng and Yujun Zhang},
journal= {arXiv preprint arXiv:2508.03579},
year = {2025}
}
备注
Under review