面向鲁棒边缘智能的通信高效对抗性联邦学习
计算机视觉与模式识别
2025-04-10 v2
摘要
联邦学习(FL)因使边缘网络无需暴露原始数据即可实现去中心化训练而受到广泛关注。然而，FL模型在非独立同分布(IID)数据设置下仍然容易受到对抗攻击和性能恶化的影响，这对鲁棒性和准确性构成了挑战。本文旨在通过利用预训练模型来增强鲁棒性和准确性，在资源受限的设备上实现通信高效的对抗性联邦学习(AFL)。通过利用预训练模型对干净和对抗图像的知识，本文提出了一种预训练模型引导的对抗性联邦学习(PM-AFL)框架。该框架集成了普通和对抗混合知识蒸馏，以有效平衡准确性和鲁棒性，同时促进本地模型从多样化数据中学习。具体而言，对于干净的准确性，我们采用双重蒸馏策略，在教师模型和本地模型之间对随机配对的图像及其混合版本的类别概率进行对齐。对于对抗鲁棒性，我们采用类似的蒸馏方法，但将本地侧的干净样本替换为对抗样本。此外，考虑到本地模型与全局模型之间的偏差，我们还包含一致性正则化项，以确保本地对抗预测与其对应的全局干净预测保持一致。这些策略共同使本地模型能够从教师模型中吸收多样化知识，同时保持与全局模型的紧密一致，从而缓解对局部最优点的过拟合，增强全局模型的泛化能力。实验表明，基于PM-AFL的框架不仅显著优于其他方法，还保持了通信效率。
引用
@article{arxiv.2501.15257,
title = {Towards Communication-Efficient Adversarial Federated Learning for Robust Edge Intelligence},
author = {Yu Qiao and Apurba Adhikary and Huy Q. Le and Eui-Nam Huh and Zhu Han and Choong Seon Hong},
journal= {arXiv preprint arXiv:2501.15257},
year = {2025}
}