光滑近似方法如何促进联邦对抗学习中的泛化?
机器学习
2024-12-20 v2 人工智能
摘要
联邦对抗学习 (FAL) 是一种抵抗联邦学习中对抗攻击的稳健框架。尽管一些 FAL 研究已开发出高效算法，但主要关注收敛性能，忽略了泛化。泛化对于评估算法在未见数据上的性能至关重要。然而，由于非光滑对抗损失函数，泛化分析更具挑战性。常见的解决方法是利用光滑近似。在本文中，我们开发了算法稳定性度量标准，用于评估两种流行 FAL 算法："Vanilla FAL (VFAL)" 和 {\it Slack FAL (SFAL)}，并使用三种不同的光滑近似方法：1) "替代光滑近似 (SSA)"，2) "随机化光滑近似 (RSA)"，和 3) "超参数化光滑近似 (OPSA)"。基于我们的深入分析，我们回答了如何正确设置光滑近似方法以缓解 FAL 中的泛化误差的问题。此外，我们识别出 RSA 是降低泛化误差最有效的方法。在高度数据异构的场景中，我们还建议使用 SFAL 来缓解由异构性导致的泛化性能恶化。基于我们的理论结果，我们提供了建议，以帮助开发更高效的 FAL 算法，例如设计新的指标和动态聚合规则来缓解异构性。
引用
@article{arxiv.2412.08282,
title = {How Does the Smoothness Approximation Method Facilitate Generalization for Federated Adversarial Learning?},
author = {Wenjun Ding and Ying An and Lixing Chen and Shichao Kan and Fan Wu and Zhe Qu},
journal= {arXiv preprint arXiv:2412.08282},
year = {2024}
}