尾部攻击：是的，你真的可以后门联邦学习
机器学习
2020-07-13 v1 密码学与安全
分布式、并行与集群计算
机器学习
摘要
由于其去中心化特性，联邦学习（FL）在训练过程中易遭受后门形式的对抗攻击。后门的目标是在特定子任务上破坏训练模型的性能（例如将绿色汽车分类为青蛙）。文献中已提出一系列 FL 后门攻击方法，也有相应的防御方法，目前一个开放问题是 FL 系统是否能定制以对后门具有鲁棒性。本工作给出了相反的证据。我们首先确立，一般情况下，对后门的鲁棒性意味着模型对对抗样本的鲁棒性，而后者本身是一个重大开放问题。此外，假设一阶预言机或多项式时间，检测 FL 模型中是否存在后门是不可能的。我们将理论结果与一类称为极端情况后门（edge-case backdoors）的新后门攻击相结合。极端情况后门迫使模型对看似简单、却不太可能出现在训练或测试数据中的输入（即它们位于输入分布的尾部）进行误分类。我们解释了这些极端情况后门如何导致不良失效并可能对公平性产生严重影响，并展示在攻击方精心调参下，可将其植入一系列机器学习任务（例如图像分类、OCR、文本预测、情感分析）。
引用
@article{arxiv.2007.05084,
title = {Attack of the Tails: Yes, You Really Can Backdoor Federated Learning},
author = {Hongyi Wang and Kartik Sreenivasan and Shashank Rajput and Harit Vishwakarma and Saurabh Agarwal and Jy-yong Sohn and Kangwook Lee and Dimitris Papailiopoulos},
journal= {arXiv preprint arXiv:2007.05084},
year = {2020}
}