风格迁移与绘画能为模型鲁棒性做些什么？

提升模型鲁棒性的常见策略是通过数据增强。数据增强促使模型学习所需的不变性，例如对水平翻转或颜色微小变化的不变性。近期工作表明，任意风格迁移可用作一种数据增强形式，通过从照片创建类绘画图像来鼓励对纹理的不变性。然而，风格化照片与艺术家创作的绘画并不完全相同。艺术家在绘画中描绘感知上有意义的线索，使人类能识别场景中的显著成分，这一强调在风格迁移中并未被强制。因此，我们研究风格迁移与绘画在影响模型鲁棒性方面的差异。首先，我们考察绘画作为基于风格化的数据增强中风格图像的作用。我们发现即便没有绘画作为风格图像，风格迁移也能良好运作。其次，我们展示将绘画作为感知数据增强的一种形式学习可提升模型鲁棒性。最后，我们研究从风格化与从绘画中学到的不变性，并表明模型从这些不同数据形式中学到了不同的不变性。我们的结果为风格化如何改善模型鲁棒性提供了见解，并提供证据表明艺术家创作的绘画可作为模型鲁棒性的宝贵数据来源。