利用数据排序攻击操纵 SGD
机器学习
2021-06-08 v2 人工智能
密码学与安全
计算机视觉与模式识别
摘要
机器学习易受多种攻击。现在已充分认识到，通过改变底层数据分布，攻击者可以毒化据此训练的模型或植入后门。本文中我们提出一类新颖的训练时攻击，其不需要改变底层数据集或模型架构，而仅改变数据提供给模型的顺序。具体而言，我们发现攻击者可以阻止模型学习，或毒化模型以学习攻击者指定的行为。此外，我们发现即便仅一个对抗性排序的 epoch 也足以减缓模型学习，甚至重置所有学习进展。事实上，此处提出的攻击并不特定于模型或数据集，而是针对现代学习过程的随机性。我们在计算机视觉与自然语言基准上广泛评估了我们的攻击，发现攻击者可以破坏模型训练甚至植入后门。
引用
@article{arxiv.2104.09667,
title = {Manipulating SGD with Data Ordering Attacks},
author = {Ilia Shumailov and Zakhar Shumaylov and Dmitry Kazhdan and Yiren Zhao and Nicolas Papernot and Murat A. Erdogdu and Ross Anderson},
journal= {arXiv preprint arXiv:2104.09667},
year = {2021}
}