泛化而非鲁棒?比较数据修改方法对域外泛化与对抗鲁棒性的影响
计算与语言
2022-03-16 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
数据修改,无论是通过额外训练数据集、数据增强、去偏还是数据集过滤,已被提出作为在自然语言处理与计算机视觉文献中泛化至域外(OOD)输入的有效方案。然而,数据修改对抗对抗鲁棒性的影响仍不清楚。本工作中,我们对常见数据修改策略进行了全面研究,并不仅评估其域内与 OOD 表现,还评估其对抗鲁棒性(AR)。我们还在一个二维合成数据集上给出结果,以可视化每种方法对训练分布的影响。本工作作为一项经验研究,旨在理解泛化至未见域与防御对抗扰动之间的关系。我们的发现表明,更多数据(通过额外数据集或数据增强)有益于 OOD 准确率与 AR。然而,数据过滤(此前被显示可改善自然语言推理上的 OOD 准确率)损害了其他任务如问答与图像分类上的 OOD 准确率。我们由实验提供见解,以启发未来该方向的工作。
引用
@article{arxiv.2203.07653,
title = {Generalized but not Robust? Comparing the Effects of Data Modification Methods on Out-of-Domain Generalization and Adversarial Robustness},
author = {Tejas Gokhale and Swaroop Mishra and Man Luo and Bhavdeep Singh Sachdeva and Chitta Baral},
journal= {arXiv preprint arXiv:2203.07653},
year = {2022}
}
备注
ACL 2022 Findings