面向鲁棒表征学习的信息性丢弃：从形状偏置视角出发
机器学习
2020-08-11 v1 计算机视觉与模式识别
机器学习
摘要
众所周知，卷积神经网络（CNNs）在做出决策时更依赖于局部纹理而非全局形状。近期研究也表明，CNN的纹理偏置与其针对分布偏移、对抗扰动、随机损坏等的鲁棒性之间存在密切关系。在本工作中，我们尝试通过缓解CNN的纹理偏置来普遍提升各类鲁棒性。受人类视觉系统启发，我们提出了一种轻量、模型无关的的方法，即信息性丢弃（InfoDrop），以改善可解释性并降低纹理偏置。具体而言，我们基于图像中的局部自信息区分纹理与形状，并采用类丢弃（Dropout）算法使模型输出与局部纹理去相关。通过大量实验，我们观察到在多种场景下（域泛化、少样本分类、图像损坏和对抗扰动）鲁棒性均得到增强。据我们所知，本工作是首批以统一模型改善不同种类鲁棒性的尝试之一，为形状偏置与鲁棒性之间的关系以及可信机器学习算法的新方法提供了新见解。代码见 https://github.com/bfshi/InfoDrop。
引用
@article{arxiv.2008.04254,
title = {Informative Dropout for Robust Representation Learning: A Shape-bias Perspective},
author = {Baifeng Shi and Dinghuai Zhang and Qi Dai and Zhanxing Zhu and Yadong Mu and Jingdong Wang},
journal= {arXiv preprint arXiv:2008.04254},
year = {2020}
}
备注
Accepted to ICML2020. Code is available at https://github.com/bfshi/InfoDrop