基于蒸馏的联邦学习的拜占庭鲁棒性
机器学习
2025-03-18 v3 人工智能
分布式、并行与集群计算
摘要
联邦学习（FL）算法使用知识蒸馏（KD）因其在隐私、非独立同分布数据和通信成本方面的有利特性而受到越来越多的关注。这些方法不再传输模型参数，而是通过在公共数据集上共享预测来传递关于学习任务的信息。在这项工作中，我们研究了这类方法在拜占庭设置下的性能，其中一部分客户端以对抗方式行动，旨在破坏学习过程。我们表明基于KD的FL算法具有显著的鲁棒性，并分析了拜占庭客户端如何影响学习过程。基于这些见解，我们引入了两种新的拜占庭攻击，并展示了它们破坏现有拜占庭鲁棒方法的能力。此外，我们提出了一种新的防御方法，增强了基于KD的FL算法的拜占庭鲁棒性。最后，我们提供了一个通用框架来混淆攻击，使其更难被检测，从而提高其有效性。我们的发现为拜占庭FL的分析提供了重要基石，通过开发新的攻击和防御机制，进一步推进了基于KD的FL算法的鲁棒性。
引用
@article{arxiv.2402.12265,
title = {On the Byzantine-Resilience of Distillation-Based Federated Learning},
author = {Christophe Roux and Max Zimmer and Sebastian Pokutta},
journal= {arXiv preprint arXiv:2402.12265},
year = {2025}
}