计算机视觉模型对常见 corruptions 鲁棒性的综述
计算机视觉与模式识别
2024-09-17 v4
摘要
计算机视觉模型的性能易受由传感器误差或极端成像环境引起的输入图像意外变化的影响，即所谓常见 corruptions(如噪声、模糊、光照变化)。这些 corruptions 在模型部署于真实场景时会显著损害其可靠性，但在测试模型泛化与鲁棒性时却常被忽视。本综述全面概述了提升计算机视觉模型对常见 corruptions 鲁棒性的方法。我们依据所针对的模型组件与训练方法将方法分为三类：数据增强、学习策略与网络组件。我们发布了一个统一基准框架(见 \url{https://github.com/nis-research/CorruptionBenchCV})以比较多个数据集上的鲁棒性表现，并解决了文献中评估实践的不一致问题。我们的实验分析凸显了流行视觉骨干网络的基础 corruption 鲁棒性，揭示出 corruption 鲁棒性未必随模型规模与数据规模而提升。考虑到增加的计算需求，大模型获得的鲁棒性提升微乎其微。为获得可泛化且鲁棒的计算机视觉模型，我们预见需要开发能高效利用有限数据并缓解不可靠学习行为的新型学习策略。
引用
@article{arxiv.2305.06024,
title = {A Survey on the Robustness of Computer Vision Models against Common Corruptions},
author = {Shunxin Wang and Raymond Veldhuis and Christoph Brune and Nicola Strisciuglio},
journal= {arXiv preprint arXiv:2305.06024},
year = {2024}
}