对抗性单纯复形触发下游模型故障：SAM编码器漏洞研究
计算机视觉与模式识别
2025-08-11 v1
摘要
尽管分割一切模型（SAM）凭借其零样本能力变革了交互式分割，但其固有的脆弱性构成了单点风险，可能导致众多下游应用失效。因此，主动评估这些可迁移的脆弱性势在必行。先前针对SAM的对抗攻击由于对跨域共性弱点的探索不足，通常表现出有限的可迁移性。为解决此问题，我们提出了顶点精炼单纯复形攻击（VeSCA），这是一种仅利用SAM编码器生成可迁移对抗样本的新方法。具体而言，它通过参数化单纯复形显式刻画SAM与下游模型之间共享的脆弱区域。我们的目标是通过迭代的顶点级精炼，在具有对抗潜力的区域内识别此类复形。我们引入了一种轻量级领域再适应策略，在单纯复形初始化期间利用最少的参考数据弥合领域差异。最终，VeSCA通过随机单纯复形采样生成具有一致可迁移性的对抗样本。大量实验表明，在五个领域特定数据集上的三类下游模型中，VeSCA的性能相较于最先进方法提升了12.7%。我们的发现进一步凸显了SAM漏洞带来的下游模型风险，并强调了开发更鲁棒基础模型的紧迫性。
引用
@article{arxiv.2508.06127,
title = {SAM Encoder Breach by Adversarial Simplicial Complex Triggers Downstream Model Failures},
author = {Yi Qin and Rui Wang and Tao Huang and Tong Xiao and Liping Jing},
journal= {arXiv preprint arXiv:2508.06127},
year = {2025}
}
备注
8 pages,recived by ICCV2025