分割（几乎）一切：面向分割模型的提示不可知对抗攻击

通用分割模型能够从多种提示（包括视觉提示（点、框等）与文本提示（对象名称））生成（语义）分割掩码。特别地，输入图像由图像编码器预处理以获得嵌入向量，随后用于掩码预测。现有对抗攻击针对端到端任务，即旨在改变为特定图像-提示对预测的分割掩码。然而，这需要对同一图像为每个新提示运行单独的攻击。我们转而提出通过最大化原始图像与扰动图像嵌入在潜空间中的$\ell_2$距离来生成提示不可知对抗攻击。由于编码过程仅依赖于图像，失真图像表示将导致多种提示下分割掩码的扰动。我们表明，即便半径为$\epsilon=1/255$的不可感知$\ell_\infty$有界扰动，也常足以大幅修改近期提出的分割基础模型以点、框和文本提示预测的掩码。此外，我们探索了创建通用（即非图像特定）攻击的可能性，其可随时应用于任何输入而无需额外计算成本。