以攻为守：用于点提示优化的对抗智能体赋能 Segment Anything Model
计算机视觉与模式识别
2025-09-24 v1
摘要
提示质量在 Segment Anything Model (SAM) 的性能中起着至关重要的作用，然而现有方法通常依赖于启发式或手动设计的提示，限制了可扩展性和泛化能力。在本文中，我们提出了 Point Prompt Defender，这是一种采用以攻为守范式自动优化点提示的对抗强化学习框架。我们通过将图像块表示为双空间图中的节点来构建与任务无关的点提示环境，其中边编码了物理距离和语义距离。在此环境中，攻击者智能体学习激活一部分能最大程度降低 SAM 分割性能的提示，而防御者智能体学习抑制这些破坏性提示并恢复准确性。两个智能体均使用 Deep Q-Networks 进行训练，奖励信号基于分割质量的变化。在推理阶段，仅部署防御者来优化任意粗糙的提示集，从而无需重新训练即可在各种任务中增强 SAM 的分割性能。大量实验表明，Point Prompt Defender 有效地提高了 SAM 的鲁棒性和泛化能力，建立了一个灵活、可解释且即插即用的基于提示的分割框架。
引用
@article{arxiv.2509.18891,
title = {Attack for Defense: Adversarial Agents for Point Prompt Optimization Empowering Segment Anything Model},
author = {Xueyu Liu and Xiaoyi Zhang and Guangze Shi and Meilin Liu and Yexin Lai and Yongfei Wu and Mingqiang Wei},
journal= {arXiv preprint arXiv:2509.18891},
year = {2025}
}