FedProphet：通过鲁棒且一致的级联学习实现内存高效的联邦对抗训练
机器学习
2025-04-16 v2 人工智能
摘要
联邦对抗训练（Federated Adversarial Training, FAT）能够为联邦学习（Federated Learning, FL）补充针对对抗样本的鲁棒性，是迈向可信人工智能的重要一步。然而，FAT 需要大型模型以在保持高准确率的同时实现强鲁棒性，这在内存受限的边缘设备上进行训练时会导致高昂的内存交换延迟。由于局部模型和全局模型不一致，现有的内存高效 FL 方法准确率低且鲁棒性弱。在本文中，我们提出了 FedProphet，一种能够同时实现内存高效、鲁棒性和一致性的新型 FAT 框架。FedProphet 通过具有强凸正则化的对抗级联学习，在保证对抗鲁棒性的同时降低了局部训练的内存需求，并且我们证明了 FedProphet 中的强鲁棒性也意味着低不一致性。我们还在 FL 的服务器上开发了一个训练协调器，通过自适应扰动调整（Adaptive Perturbation Adjustment）来平衡效用与鲁棒性，并通过差异化模块分配（Differentiated Module Assignment）来缓解目标不一致性。在不同的实验设置下，FedProphet 显著优于其他基线方法，在端到端 FAT 中保持了准确率和鲁棒性，同时减少了 80% 的内存并实现了高达 10.8 倍的训练时间加速。
引用
@article{arxiv.2409.08372,
title = {FedProphet: Memory-Efficient Federated Adversarial Training via Robust and Consistent Cascade Learning},
author = {Minxue Tang and Yitu Wang and Jingyang Zhang and Louis DiValentin and Aolin Ding and Amin Hass and Yiran Chen and Hai "Helen" Li},
journal= {arXiv preprint arXiv:2409.08372},
year = {2025}
}
备注
Accepted by MLSys 2025