CalFAT：面向标签偏斜的校准联邦对抗训练
机器学习
2023-02-24 v3 分布式、并行与集群计算
摘要
近期研究表明，与传统机器学习类似，联邦学习（FL）同样易受对抗攻击。为提升 FL 的对抗鲁棒性，已有研究提出联邦对抗训练（FAT）方法，在全局聚合前于本地执行对抗训练。尽管这些方法在独立同分布（IID）数据上展现出良好效果，但在具有标签偏斜的非 IID 数据上面临训练不稳定问题，导致自然准确率下降。这往往阻碍了 FAT 在真实应用场景中的部署，因为客户端间的标签分布通常存在偏斜。本文研究标签偏斜下的 FAT 问题，并揭示训练不稳定与自然准确率退化问题的根源之一：标签偏斜导致非一致的类别概率与异构的本地模型。我们进而提出一种校准联邦对抗训练（CalFAT）方法，通过自适应校准 logits 以平衡各类别，从而解决不稳定问题。我们从理论与实验两方面表明，CalFAT 的优化可促使各客户端间形成同质的本地模型并获得更优的收敛点。
引用
@article{arxiv.2205.14926,
title = {CalFAT: Calibrated Federated Adversarial Training with Label Skewness},
author = {Chen Chen and Yuchen Liu and Xingjun Ma and Lingjuan Lyu},
journal= {arXiv preprint arXiv:2205.14926},
year = {2023}
}
备注
Accepted to the Conference on the Advances in Neural Information Processing Systems (NeurIPS) 2022