更多数据会扩大对抗鲁棒模型与标准模型间的泛化差距
机器学习
2020-08-18 v3 机器学习
摘要
尽管在现代实践中取得了显著成功,人们发现现代机器学习模型易受对抗攻击的影响,这类攻击对数据施加人眼难以察觉的扰动,却导致严重且潜在危险的预测错误。为解决此问题,实践者常使用对抗训练来学习对此类攻击鲁棒的模型,代价是在未扰动测试集上更高的泛化误差。传统观点认为,更多训练数据应当缩小对抗训练模型与标准模型的泛化误差差距。然而,我们研究了在 攻击下高斯与伯努利模型中鲁棒分类器的训练,并证明更多数据实际上可能增大这一差距。此外,我们的理论结果确定了额外数据何时以及是否最终开始缩小该差距。最后,我们通过实验证明我们的结果对线性回归模型同样成立,这可能表明该现象具有更广泛的普遍性。
引用
@article{arxiv.2002.04725,
title = {More Data Can Expand the Generalization Gap Between Adversarially Robust and Standard Models},
author = {Lin Chen and Yifei Min and Mingrui Zhang and Amin Karbasi},
journal= {arXiv preprint arXiv:2002.04725},
year = {2020}
}
备注
Accepted to ICML'20. First two authors contributed equally