探索视觉模型盲点的几何结构

Sriram Balasubramanian; Gaurang Sriramanan; Vinu Sankar Sadasivan; Soheil Feizi

探索视觉模型盲点的几何结构

计算机视觉与模式识别 2023-11-01 v1 人工智能机器学习

作者: Sriram Balasubramanian , Gaurang Sriramanan , Vinu Sankar Sadasivan , Soheil Feizi

摘要

尽管深度神经网络在众多场景下取得了显著成功，若干工作已表明它们对近乎不可察觉的扰动（即对抗攻击）具有极强的敏感性。另一方面，先前工作也观察到深度网络可能表现为欠敏感，即输入空间中大幅度的扰动并不会引起网络激活的明显变化。本工作中，我们详细研究了 CNN 和 Transformer 等视觉模型中的欠敏感现象，并提出了研究此类网络“等置信度”水平集几何结构与范围的技术。我们提出了一种水平集遍历算法，利用局部梯度的正交分量迭代地探索相对于输入空间的高置信度区域。给定源图像，我们使用该算法识别与源图像处于同一等置信度水平集、却在感知上类似于其他类别任意图像的输入。我们进一步观察到，源图像通过这些输入由一条高置信度路径线性连接，揭示了深度网络水平集的星状结构。此外，我们尝试识别并估计这些模型保持高度置信度的连通高维区域的范围。本项目的代码公开于 https://github.com/SriramB-98/blindspots-neurips-sub

关键词

欠敏感性视觉模型等置信度水平集水平集遍历盲点 CNN Transformer

引用

@article{arxiv.2310.19889,
  title  = {Exploring Geometry of Blind Spots in Vision Models},
  author = {Sriram Balasubramanian and Gaurang Sriramanan and Vinu Sankar Sadasivan and Soheil Feizi},
  journal= {arXiv preprint arXiv:2310.19889},
  year   = {2023}
}

备注

25 pages, 20 figures, Accepted at NeurIPS 2023 (spotlight)

探索视觉模型盲点的几何结构

摘要

关键词

引用

备注

相关论文