PushPull-Net：受抑制机制驱动的抗图像损坏 ResNet
计算机视觉与模式识别
2024-09-17 v2
摘要
我们提出了一种新型计算单元，称为 PushPull-Conv，首次引入 ResNet 架构的第一层，灵感来自于原视觉皮层中观察到的反相抑制现象。该单元重新定义了传统的卷积层，通过实现一对互补滤波器：一个可训练的 push 核及其对应项，即 pull 核。push 核（类似于传统卷积）学习针对特定刺激作出响应，而 pull 核则针对相同刺激但对比度相反的刺激作出反应。这种配置增强了刺激选择性，有效抑制了缺乏首选刺激区域的响应。这种效果归因于 push 和 pull 核，它们在此类区域产生相当大小的响应，从而相互中和。将 PushPull-Conv 纳入 ResNet后显著提高了其对图像损坏的鲁棒性。我们使用基准损坏数据集进行实验，表明 PushPull-Conv 可以与其他数据增强技术结合，以进一步提高模型鲁棒性。我们在 ResNet50 上设置了新的鲁棒性基准，ImageNet-C 上实现 为 49.95。
引用
@article{arxiv.2408.04077,
title = {PushPull-Net: Inhibition-driven ResNet robust to image corruptions},
author = {Guru Swaroop Bennabhaktula and Enrique Alegre and Nicola Strisciuglio and George Azzopardi},
journal= {arXiv preprint arXiv:2408.04077},
year = {2024}
}
备注
Accepted at ICPR 2024, code available at https://github.com/bgswaroop/pushpull-conv