通信受限联邦学习中的对抗训练
机器学习
2021-03-03 v1 人工智能
摘要
联邦学习支持在分布式智能体数据语料库上进行模型训练。然而，训练后的模型易受旨在引发误分类的对抗样本的攻击。我们研究了在联邦学习设置中使用对抗训练（AT）的可行性。此外，我们是在固定通信预算和参与智能体间非独立同分布（non-iid）数据分布的假设下进行的。我们观察到，与集中式训练相比，在联邦设置中使用AT时自然精度和对抗精度均显著下降。我们将此归因于智能体本地执行的AT轮数，这进而影响（i）局部模型间的漂移；以及（ii）收敛时间（以通信轮数衡量）。为此，我们提出FedDynAT，一种在联邦设置中执行AT的新颖算法。通过大量实验，我们表明FedDynAT显著提高了自然和对抗精度，并通过减少模型漂移改善了模型收敛时间。
引用
@article{arxiv.2103.01319,
title = {Adversarial training in communication constrained federated learning},
author = {Devansh Shah and Parijat Dube and Supriyo Chakraborty and Ashish Verma},
journal= {arXiv preprint arXiv:2103.01319},
year = {2021}
}