中文

基于截断二次损失的非均匀数据拜占庭鲁棒联邦学习增强方法

机器学习 2026-07-13 v1
作者: Zhi-Yong Wang , Hao Nan Sheng , Werner Stefan , Hing Cheung So , Linqi Song , Weitao Xu
在 arXiv 上查看 ↗ PDF ↗

摘要

联邦学习将数据分布在 nn 个客户端之间，使其容易受到恶意攻击和数据异构性的影响，这共同对鲁棒学习构成了挑战。为解决此问题，已有研究利用中心裁剪和Huber聚合器来实现拜占庭鲁棒性。本文首先通过凸共轭理论证明了它们的等价性，并表明在存在异常值的情况下，它们可能产生有偏解，导致在高数据异构性和大量异常值存在时失效。接下来，我们提出了一种新的鲁棒聚合规则，利用截断二次（TQ）损失，有效缓解了现有方法（如中心裁剪和Huber聚合器）的偏差。我们证明了我们的聚合器在非凸损失函数和异构数据下实现了阶最优的拜占庭鲁棒学习，最终增强了联邦学习系统的可靠性。此外，我们为TQ提供了一种鲁棒的偏差估计策略，证明了其有效性。进一步，我们表明即使仅知道拜占庭客户端数量的估计值，TQ也能保持鲁棒性。最后，在MNIST、Fashion-MNIST和CIFAR-10上的实验结果表明，我们的聚合器比竞争技术提供了更好的鲁棒性性能。

关键词

联邦学习 拜占庭鲁棒性 截断二次损失 数据异构性 鲁棒聚合 非凸优化

引用

@article{arxiv.2607.10970,
  title  = {Enhanced Byzantine-Robust Federated Learning Via Truncated-Quadratic Loss for Heterogeneous Data},
  author = {Zhi-Yong Wang and Hao Nan Sheng and Werner Stefan and Hing Cheung So and Linqi Song and Weitao Xu},
  journal= {arXiv preprint arXiv:2607.10970},
  year   = {2026}
}