频率偏置如何影响神经图像分类器对常见 corruption 与对抗扰动的鲁棒性
机器学习
2022-05-11 v1 计算机视觉与模式识别
摘要
模型鲁棒性对于机器学习模型在真实世界应用中的可靠部署至关重要。近期研究表明，数据增强可能导致模型过度依赖低频域中的特征，牺牲其在低频corruption下的性能，凸显了频率与鲁棒性之间的联系。在此，我们更进一步，通过其雅可比矩阵及其对模型鲁棒性的影响，更直接地研究模型的频率偏置。为此，我们提出雅可比频率正则化，使模型的雅可比矩阵具有更大比例的低频分量。通过在四个图像数据集上的实验，我们表明将分类器偏置向低（高）频分量倾斜，可带来针对高（低）频corruption与对抗扰动的性能提升，尽管在以低（高）频corruption为代价上有所权衡。我们的方法阐明了深度学习模型频率偏置与鲁棒性之间更直接的联系。
引用
@article{arxiv.2205.04533,
title = {How Does Frequency Bias Affect the Robustness of Neural Image Classifiers against Common Corruption and Adversarial Perturbations?},
author = {Alvin Chan and Yew-Soon Ong and Clement Tan},
journal= {arXiv preprint arXiv:2205.04533},
year = {2022}
}
备注
IJCAI 2022 Long Oral, Camera-ready full version