结合不同 V1 脑模型变体以提升 CNN 对图像 corruptions 的鲁棒性
图像与视频处理
2021-12-09 v2 计算机视觉与模式识别
神经元与认知
摘要
尽管一些卷积神经网络（CNN）在物体分类上已超越人类视觉能力，它们往往难以识别被不同类型常见噪声模式污染的图像，这凸显了此类模型的一个主要局限。最近研究表明，在 CNN 前端模拟初级视觉皮层（V1）可对这些图像扰动的鲁棒性带来小幅提升。在本研究中，我们从观察不同 V1 模型变体对特定污染类型有增益出发，使用集成技术构建了一个结合多个具有不同 V1 前端变体的独立模型的新模型。该模型集成利用了各独立模型的优势，从而在全部污染类别上显著提升鲁棒性，平均优于基础模型 38%。最后，我们展示通过蒸馏，可将集成模型中的知识部分压缩进单个带 V1 前端的模型中。尽管此处使用的集成与蒸馏技术几乎不具备生物学合理性，本文结果证明，通过结合 V1 中不同神经回路的特定优势，可提升 CNN 对广泛扰动的鲁棒性。
引用
@article{arxiv.2110.10645,
title = {Combining Different V1 Brain Model Variants to Improve Robustness to Image Corruptions in CNNs},
author = {Avinash Baidya and Joel Dapello and James J. DiCarlo and Tiago Marques},
journal= {arXiv preprint arXiv:2110.10645},
year = {2021}
}
备注
15 pages with supplementary material, 3 main figures, 2 supplementary figures, 4 supplementary tables