数据投毒与拜占庭梯度攻击之间的等价性
机器学习
2022-07-22 v2 机器学习
摘要
为研究分布式学习的鲁棒性，“拜占庭”文献考虑了一种强威胁模型，其中工作节点可向参数服务器上报任意梯度。尽管该模型有助于获得若干基础性结果，但当工作节点大多为可信机器时，它有时被认为不切实际。在本文中，我们展示了该模型与数据投毒（一种被认为更现实的威胁）之间令人惊讶的等价性。更具体地，我们证明在任何具有 PAC 保证（我们证明其既可取又现实）的个性化联邦学习系统中，每一次梯度攻击都可归约为数据投毒。该等价性使得作为现有拜占庭机器学习不可能性定理的推论，可获得关于任何“鲁棒”学习算法在高度异构应用中对数据投毒鲁棒性的新不可能性结果。此外，利用我们的等价性，我们推导出一种实用攻击，并（在理论与实证上）表明其可非常有效地对抗经典的个性化联邦学习模型。
引用
@article{arxiv.2202.08578,
title = {An Equivalence Between Data Poisoning and Byzantine Gradient Attacks},
author = {Sadegh Farhadkhani and Rachid Guerraoui and Lê-Nguyên Hoang and Oscar Villemaud},
journal= {arXiv preprint arXiv:2202.08578},
year = {2022}
}
备注
arXiv admin note: text overlap with arXiv:2106.02398