通过模拟变形实现任意不可分割

基础分割模型虽然强大，但带来了重大风险：它们使用户能够通过一次点击轻松地从任何数字内容中提取任意对象，可能导致版权侵权或恶意滥用。为减轻此风险，我们引入了一个新任务“任意不可分割”，以赋予任何图像“不被分割的权利”。该任务的雄心勃勃的目标是实现对基于提示的分割模型的高度可迁移的对抗攻击，无论模型参数化和提示如何。我们强调了提示特定对抗噪声的不可迁移性和异质性。我们的方法侧重于破坏图像编码器特征以实现提示无关的攻击。有趣的是，与无目标攻击相比，有目标特征攻击表现出更好的可迁移性，这表明最优更新方向与图像流形对齐。基于这些观察，我们设计了一种名为“通过模拟变形实现任意不可分割”（UAD）的新型攻击。我们的攻击优化了一个可微的变形函数，以创建目标变形图像，该图像改变了结构信息，同时通过对抗样本保持了可达到的特征距离。大量实验验证了我们方法的有效性，破坏了具有不同架构和提示接口的各种可提示分割模型。我们在https://github.com/jiahaolu97/anything-unsegmentable发布了代码。