少许足矣：规避分布式学习的防御机制
机器学习
2021-11-16 v1 密码学与安全
分布式、并行与集群计算
机器学习
摘要
分布式学习是深度学习模型大规模训练的核心。然而，它们面临一种安全威胁，即拜占庭参与者可中断或控制学习过程。先前的攻击模型及其对应防御假设恶意参与者（a）全知（知晓所有其他参与者的数据），且（b）对参数引入较大改动。我们表明，微小但精心构造的改动已足够，从而导致了一种针对分布式学习的新型非全知攻击，其不被任何现有防御所检测。我们证明该攻击方法不仅可阻止收敛，还可重塑模型行为（后门植入）。我们展示20%的腐败工作节点足以将CIFAR10模型精度降低50%，并在不损害精度的前提下向MNIST与CIFAR10模型植入后门。
引用
@article{arxiv.1902.06156,
title = {A Little Is Enough: Circumventing Defenses For Distributed Learning},
author = {Moran Baruch and Gilad Baruch and Yoav Goldberg},
journal= {arXiv preprint arXiv:1902.06156},
year = {2021}
}