以受神经启发的前端显式建模皮层前视觉处理提升 CNN 鲁棒性
计算机视觉与模式识别
2024-10-15 v2 神经元与认知
摘要
尽管卷积神经网络（CNN）在干净图像分类上表现优异，但它们在分类受不同常见损坏影响的图像时却面临困难，这限制了其在现实世界中的适用性。近期工作表明，加入一个模拟灵长类初级视觉皮层（V1）某些特征的 CNN 前端模块可以提升模型的整体鲁棒性。在此，我们扩展了这一方法，引入了两个新颖的受生物学启发的 CNN 模型族，它们包含一个旨在模拟皮层前视觉处理的新前端模块。RetinaNet 是一种包含该新前端及标准 CNN 后端的混合架构，与标准模型相比显示出 12.3% 的相对鲁棒性提升；而 EVNet 在皮层前前端之后进一步添加了 V1 模块，显示出 18.5% 的相对增益。在所有不同的损坏类别中均观察到了鲁棒性的提升，尽管伴随着干净图像准确率的小幅下降，并且该提升可推广至不同的后端架构。这些发现表明，在 CNN 早期层中模拟早期视觉处理的多个阶段对模型鲁棒性提供了累积收益。
引用
@article{arxiv.2409.16838,
title = {Explicitly Modeling Pre-Cortical Vision with a Neuro-Inspired Front-End Improves CNN Robustness},
author = {Lucas Piper and Arlindo L. Oliveira and Tiago Marques},
journal= {arXiv preprint arXiv:2409.16838},
year = {2024}
}