从卷积滤波器视角看对抗鲁棒性
计算机视觉与模式识别
2022-10-26 v1 人工智能
机器学习
摘要
深度学习模型对输入数据中的分布偏移具有内在的敏感性。特别是，对输入数据施加微小、几乎难以察觉的扰动即可迫使模型以高置信度做出错误预测。一种常见的防御机制是通过对抗训练进行正则化，将最坏情况扰动注入训练过程以强化决策边界并减少过拟合。在此背景下，我们对对抗训练模型中形成的 3x3 卷积滤波器进行了研究。滤波器提取自 linf-RobustBench CIFAR-10/100 和 ImageNet1k 排行榜上的 71 个公开模型，并与基于相同架构但未经鲁棒正则化训练的模型中提取的滤波器进行比较。我们观察到，对抗鲁棒模型似乎比普通模型形成更多样、更不稀疏且更正交的卷积滤波器。鲁棒模型与普通模型之间的最大差异出现在最深层以及第一个卷积层中，后者始终且主要形成可部分消除扰动的滤波器，与架构无关。数据与项目网站：https://github.com/paulgavrikov/cvpr22w_RobustnessThroughTheLens
引用
@article{arxiv.2204.02481,
title = {Adversarial Robustness through the Lens of Convolutional Filters},
author = {Paul Gavrikov and Janis Keuper},
journal= {arXiv preprint arXiv:2204.02481},
year = {2022}
}
备注
Accepted at the CVPR 2022 "The Art of Robustness" Workshop