联邦混合训练与自对抗蒸馏：面向稳健边缘网络
计算机视觉与模式识别
2024-12-30 v1 机器学习
摘要
联邦学习（FL）是一种分布式训练技术，通过允许数据所有者在不将原始数据传输到边缘服务器的情况下协作，提高了移动边缘网络中数据隐私的水平。然而，数据异构性和对抗攻击构成了开发面向边缘部署的无偏且稳健全局模型的挑战。为此，我们提出了一种名为联邦混合对抗训练与自对抗蒸馏（FedBAT）的新型框架，旨旨提高全局模型的稳健性和泛化能力。FedBAT 从数据增强和特征蒸馏的角度，将混合对抗训练和自对抗蒸馏无缝集成到传统的 FL 框架中。从数据增强的角度，我们提出了混合对抗训练，通过标准训练与对抗训练的加权组合来平衡准确率和稳健性，以抵御对抗攻击。从特征蒸馏的角度，我们引入一种新型的增强不变性对抗蒸馏方法，将增强图像的局部对抗特征与其对应的无偏全局干净特征对齐。这种对齐能够有效缓解数据异构性带来的偏差，同时提升全局模型的稳健性和泛化能力。跨多个数据集的广泛实验结果表明，FedBAT 在提高稳健性的同时，保持准确率，相较于几种基线方法，性能相当或更优。
引用
@article{arxiv.2412.19354,
title = {Federated Hybrid Training and Self-Adversarial Distillation: Towards Robust Edge Networks},
author = {Yu Qiao and Apurba Adhikary and Kitae Kim and Eui-Nam Huh and Zhu Han and Choong Seon Hong},
journal= {arXiv preprint arXiv:2412.19354},
year = {2024}
}