具有联邦防御的SignSGD：通过梯度符号解码利用对抗性攻击
机器学习
2024-02-05 v1 密码学与安全
信号处理
摘要
分布式学习是一种利用多个工作节点加速模型训练的有效方法。然而，由于传输梯度的巨大成本，工作节点与参数服务器之间会出现显著的通信延迟。带有多数投票的SignSGD（signSGD-MV）是一种简单而有效的优化器，通过1比特量化降低通信成本，但其收敛速度会随着对抗性工作节点的增加而显著下降。在本文中，我们证明，只要对抗性工作节点的数量少于良性工作节点，收敛速度就不会随对抗性工作节点数量的增加而改变。展示这一反直觉结果的关键思想是我们提出的具有联邦防御的新型signSGD（signSGD-FD）。与传统方法不同，signSGD-FD利用对抗性工作节点发送的梯度信息，并通过梯度符号解码获得适当的权重。实验结果表明，在各种对抗性攻击场景下，signSGD-FD相比传统算法实现了更优的收敛速度。
引用
@article{arxiv.2402.01340,
title = {SignSGD with Federated Defense: Harnessing Adversarial Attacks through Gradient Sign Decoding},
author = {Chanho Park and Namyoon Lee},
journal= {arXiv preprint arXiv:2402.01340},
year = {2024}
}