StyleAugment:通过无预定义纹理的风格增强学习去纹理偏差表示
计算机视觉与模式识别
2021-08-25 v1
摘要
近期强大的视觉分类器存在偏向纹理的现象,而模型忽略了形状信息。一种使用艺术风格迁移方法(称为 Stylized ImageNet)增强训练图像的简单尝试可以减少纹理偏差。然而,Stylized ImageNet 方法在保真度和多样性方面存在两个缺点。首先,由于自然图像与艺术画作之间存在的显著语义差距,生成的图像质量较低。此外,Stylized ImageNet 训练样本在训练前被预先计算,导致每个样本缺乏多样性。我们提出了一种 StyleAugment,通过从 mini-batch 中增强风格。StyleAugment 不依赖于预定义的风格参考,而是利用 mini-batch 中的自然图像作为参考,即时生成增强图像。因此,StyleAugment 通过即时增强策略让模型观察到每张图像的大量混淆线索,同时增强后的图像比艺术风格迁移的图像更逼真。我们在 ImageNet 数据集上通过鲁棒性基准验证了 StyleAugment 的有效性,例如去纹理偏差准确率、损坏鲁棒性、自然对抗样本和遮挡鲁棒性。在我们的实验中,StyleAugment 表现出比以往无监督去偏差方法和最先进的数据增强方法更好的泛化性能。
引用
@article{arxiv.2108.10549,
title = {StyleAugment: Learning Texture De-biased Representations by Style Augmentation without Pre-defined Textures},
author = {Sanghyuk Chun and Song Park},
journal= {arXiv preprint arXiv:2108.10549},
year = {2021}
}
备注
10 pages, 2 figures, 4 tables