通过增强弱子网络提升鲁棒性
计算机视觉与模式识别
2022-07-22 v2
摘要
尽管深度网络取得了成功，但已被证明极易受扰动影响，常导致准确率显著下降。本文通过研究内部子网络（子网络）在扰动输入上的表现，考察模型的鲁棒性。有趣的是，我们观察到大多数子网络对扰动的鲁棒性尤其差。更重要的是，这些弱子网络与整体鲁棒性不足相关。针对该现象，我们提出一种新的训练流程，识别并增强弱子网络（EWS）以提升鲁棒性。具体而言，我们设计了一种搜索算法来寻找特别弱的子网络，并通过来自完整网络的知识蒸馏显式地强化它们。我们表明，EWS 大幅提升了针对 corrupted images（ corrupted images，损坏图像）的鲁棒性以及干净数据上的准确率。EWS 与流行的数据增强方法互补，与这些方法结合时一致地改善鲁棒性。为凸显我们方法的灵活性，我们还将 EWS 与流行的对抗训练方法结合，从而提升对抗鲁棒性。
引用
@article{arxiv.2201.12765,
title = {Improving Robustness by Enhancing Weak Subnets},
author = {Yong Guo and David Stutz and Bernt Schiele},
journal= {arXiv preprint arXiv:2201.12765},
year = {2022}
}
备注
To appear in ECCV 2022