基于 Transformer 的联邦对抗训练
机器学习
2022-06-07 v1 密码学与安全
计算机视觉与模式识别
摘要
联邦学习（FL）已成为一种在保护分布式客户端数据隐私的同时进行全局模型训练的方法。然而，全局训练模型易受规避攻击尤其是对抗样本（AEs，即精心构造以导致错误分类的样本）的攻击。对抗训练（AT）被认为是对抗规避攻击最有前景的方法，并且已针对卷积神经网络（CNN）被广泛研究。近来，视觉 Transformer 已被发现对许多计算机视觉任务有效。据作者所知，尚无研究探讨在 FL 过程中针对视觉 Transformer 进行 AT 的可行性。本文利用不同的联邦模型聚合方法以及具有不同分词与分类头技术的不同视觉 Transformer 模型来研究该可行性。为了提升在非独立同分布（Non-IID）数据下模型的鲁棒准确率，我们提出对 FedAvg 聚合方法的扩展，称为 FedWAvg。通过计算全局模型最后一层与客户端更新最后一层之间的相似度，FedWAvg 计算权重以聚合本地模型更新。实验表明，与其他最先进的聚合方法相比，FedWAvg 提升了鲁棒准确率。
引用
@article{arxiv.2206.02131,
title = {Federated Adversarial Training with Transformers},
author = {Ahmed Aldahdooh and Wassim Hamidouche and Olivier Déforges},
journal= {arXiv preprint arXiv:2206.02131},
year = {2022}
}