评估视觉状态空间模型鲁棒性的探索
计算机视觉与模式识别
2024-09-17 v2
摘要
视觉状态空间模型（Vision State Space Models, VSSMs）是一种新型架构，融合了循环神经网络和潜在变量模型的优势，已在视觉感知任务中展现出卓越性能，通过高效捕获长程依赖和建模复杂视觉动态。然而，其在自然和对抗性扰动下的鲁棒性仍是一个关键关注点。本文对VSSMs在various扰动情景下的鲁棒性进行全面评估，包括遮挡、图像结构、常见损坏以及对抗性攻击，并将其性能与transformer和卷积神经网络等成熟架构进行比较。此外，我们调查了VSSMs对物体-背景组合变化的韧性，在设计的测试模型性能在复杂视觉场景中表现的 sophisticated基准测试上进行评估。我们还评估了其在物体检测和分割任务上的鲁棒性，使用模仿真实场景的损坏数据集。为深入理解VSSMs的对抗鲁棒性，我们对对抗性攻击进行频率分析，评估其对低频和高频扰动的性能。我们的发现揭示了VSSMs在处理复杂视觉损坏方面的优势与局限，为未来研究提供了宝贵见解。我们的code和models将在 https://github.com/HashmatShadab/MambaRobustness 提供。
引用
@article{arxiv.2406.09407,
title = {Towards Evaluating the Robustness of Visual State Space Models},
author = {Hashmat Shadab Malik and Fahad Shamshad and Muzammal Naseer and Karthik Nandakumar and Fahad Shahbaz Khan and Salman Khan},
journal= {arXiv preprint arXiv:2406.09407},
year = {2024}
}