面向非独立同分布数据上鲁棒联邦学习的 Logit 校准与特征对比
机器学习
2024-04-11 v1 人工智能
计算机视觉与模式识别
摘要
联邦学习（FL）是一种保护隐私的分布式框架，用于在边缘网络设备上进行协作模型训练。然而，由于容易受到对抗样本（AEs）的攻击以及设备间数据分布的非独立同分布（non-IID）特性，在边缘部署对抗鲁棒且准确的学习模型面临挑战。虽然对抗训练（AT）通常被认为是集中式训练中抵御对抗攻击的有效防御策略，但我们阐明了在 FL 中直接应用 AT 的负面影响，这会严重损害准确性，尤其是在面对 non-IID 挑战时。鉴于这一局限性，本文提出了 FatCC，它从 logit 和特征两个视角将局部 logit 校准和全局特征对比结合到原始的联邦对抗训练（FAT）过程中。该方法能有效提升联邦系统的鲁棒精度（RA）和干净精度（CA）。首先，我们提出了 logit 校准，在局部对抗更新过程中对 logit 进行校准，从而提高对抗鲁棒性。其次，FatCC 引入了特征对比，包含一个全局对齐项，将每个局部表示与无偏全局特征对齐，从而进一步增强联邦对抗环境中的鲁棒性和准确性。在多个数据集上的广泛实验表明，与其他基线相比，FatCC 在 CA 和 RA 上均取得了相当或更优的性能提升。
引用
@article{arxiv.2404.06776,
title = {Logit Calibration and Feature Contrast for Robust Federated Learning on Non-IID Data},
author = {Yu Qiao and Chaoning Zhang and Apurba Adhikary and Choong Seon Hong},
journal= {arXiv preprint arXiv:2404.06776},
year = {2024}
}