基于随机卷积的鲁棒且可泛化的视觉表示学习
计算机视觉与模式识别
2021-05-04 v3 机器学习
摘要
尽管深度神经网络在各种计算机视觉任务中取得成功，但其已被证明易受纹理风格偏移以及人类可鲁棒应对的微小扰动的影响。本工作中，我们表明神经网络的鲁棒性可通过使用随机卷积作为数据增强而大幅改善。随机卷积近似保持形状并可能扭曲局部纹理。直观上，随机卷积创造了无数具有相似全局形状但随机局部纹理的新域。因此，我们探索在训练中将多尺度随机卷积的输出作为新图像或与原始图像混合使用。当将用我们的方法训练的网络应用于未见域时，我们的方法在域泛化基准上持续提升性能，并可扩展至 ImageNet。特别是在泛化至 PACS 中的草图域和 ImageNet-Sketch 这一挑战性场景中，我们的方法大幅优于当前最优方法。更有趣的是，我们的方法可通过提供更鲁棒的预训练视觉表示而惠及下游任务。
引用
@article{arxiv.2007.13003,
title = {Robust and Generalizable Visual Representation Learning via Random Convolutions},
author = {Zhenlin Xu and Deyi Liu and Junlin Yang and Colin Raffel and Marc Niethammer},
journal= {arXiv preprint arXiv:2007.13003},
year = {2021}
}
备注
ICLR 2021. Code is available at https://github.com/wildphoton/RandConv