通过结构化对抗扰动进行数据增强
机器学习
2020-11-06 v1
摘要
数据增强是许多具有最先进性能（SOTA）的机器学习方法的主要组成部分。常见的增强策略通过从变换空间中抽取随机样本来工作。不幸的是，这种采样方法在表达性上受限，因为它们由于维数灾难而无法扩展到依赖于众多参数的丰富变换。对抗样本可被视为数据增强的一种替代方案。通过在最难修改的输入上训练，所得模型随后有望能处理其他（大概更简单的）修改。对抗增强的优势在于它用单一、计算出的使损失最大增加的扰动替代了采样。然而，其缺点是这些原始对抗扰动看起来相当无结构；与理想的数据增强技术相反，应用它们通常不能产生自然的变换。为此，我们提出了一种生成保持某些期望自然结构的对抗样本的方法。我们首先构造一个仅包含具有期望结构的扰动子空间。然后将原始对抗梯度投影到该空间上，以选择应用时会最大增加损失的结构化变换。我们通过两类图像变换：光度与几何，展示了该方法。此外，我们表明在此类结构化对抗图像上训练可改善泛化能力。
引用
@article{arxiv.2011.03010,
title = {Data Augmentation via Structured Adversarial Perturbations},
author = {Calvin Luo and Hossein Mobahi and Samy Bengio},
journal= {arXiv preprint arXiv:2011.03010},
year = {2020}
}