通过非独立同分布数据上的 Logits 校准迈向鲁棒联邦学习
计算机视觉与模式识别
2024-03-06 v1
摘要
联邦学习 (FL) 是一种基于边缘网络中分布式设备协同模型训练的隐私保护分布式管理框架。然而，近期研究表明 FL 易受对抗样本 (AEs) 攻击，导致其性能显著下降。同时，边缘设备间数据分布的非独立同分布 (non-IID) 挑战会进一步降低模型性能。因此，对抗样本和非独立同分布数据都给在边缘部署鲁棒学习模型带来了挑战。在本文中，我们采用对抗训练 (AT) 框架来提高 FL 模型对抗对抗样本 (AE) 攻击的鲁棒性，这可称为联邦对抗训练 (FAT)。此外，我们在 FAT 框架下实施了一种简单而有效的 logits 校准策略以应对非独立同分布挑战，该策略能增强模型在遭受对抗攻击时的鲁棒性。具体而言，我们采用直接策略调整 logits 输出，即在训练期间赋予小样本类别更高的权重。这种方法有效解决了训练数据中的类别不平衡问题，旨在缓解局部模型与全局模型之间的偏差。在 MNIST、Fashion-MNIST 和 CIFAR-10 三个数据集基准上的实验结果表明，与若干基线相比，我们的策略在自然准确率和鲁棒准确率方面均取得了具有竞争力的结果。
引用
@article{arxiv.2403.02803,
title = {Towards Robust Federated Learning via Logits Calibration on Non-IID Data},
author = {Yu Qiao and Apurba Adhikary and Chaoning Zhang and Choong Seon Hong},
journal= {arXiv preprint arXiv:2403.02803},
year = {2024}
}
备注
Accepted by IEEE NOMS 2024