通过对抗特征扰动编码对图像风格的鲁棒性
计算机视觉与模式识别
2021-11-02 v3 机器学习
摘要
对抗训练是生产对小的对抗扰动具有鲁棒性的模型的行业标准。然而，机器学习从业者需要对自然发生的其他类型变化（如输入图像风格或光照的变化）具有鲁棒性的模型。此类输入分布的变化已被有效建模为深度图像特征的均值和方差的偏移。我们改进对抗训练，通过直接扰动特征统计量而非图像像素，以产生对各种未见分布偏移具有鲁棒性的模型。我们通过可视化对抗特征来探索这些扰动与分布偏移之间的关系。我们提出的方法——对抗批归一化（AdvBN）——是一个在训练期间生成最坏情况特征扰动的单一网络层。通过在对抗特征分布上微调神经网络，我们观察到网络对各种未见分布偏移（包括风格变化和图像损坏）的鲁棒性得到提升。此外，我们表明所提出的对抗特征扰动可补充现有的图像空间数据增强方法，从而带来性能改进。源代码与预训练模型发布于 \url{https://github.com/azshue/AdvBN}。
引用
@article{arxiv.2009.08965,
title = {Encoding Robustness to Image Style via Adversarial Feature Perturbations},
author = {Manli Shu and Zuxuan Wu and Micah Goldblum and Tom Goldstein},
journal= {arXiv preprint arXiv:2009.08965},
year = {2021}
}
备注
NeurIPS 2021