BREPS：可提示分割的边界框鲁棒性评估
计算机视觉与模式识别
2026-04-17 v1 人工智能
人机交互
摘要
诸如 SAM 之类的可提示分割模型建立了一种强大的范式，能够以最少的用户输入（包括点、边界框和文本提示）实现对未见对象和领域的强泛化能力。其中，边界框尤为有效，通常优于点提示，同时显著降低了标注成本。然而，当前的训练和评估协议通常依赖于通过简单启发式方法生成的合成提示，对现实世界的鲁棒性提供的洞察有限。在本文中，我们研究了可提示分割模型对边界框提示自然变化的鲁棒性。首先，我们进行了一项受控用户研究，并收集了数千个真实的边界框标注。我们的分析揭示了同一模型和实例在不同用户之间的分割质量存在显著差异，表明类 SAM 模型对自然提示噪声高度敏感。然后，由于对所有可能的用户输入进行穷举测试在计算上是不可行的，我们将鲁棒性评估重新表述为边界框提示空间上的白盒优化问题。我们引入了 BREPS，一种生成对抗性边界框的方法，该方法在遵循自然性约束的同时最小化或最大化分割误差。最后，我们在涵盖日常场景到医学成像的 10 个数据集上对最先进的模型进行了基准测试。代码 - https://github.com/emb-ai/BREPS。
引用
@article{arxiv.2601.15123,
title = {BREPS: Bounding-Box Robustness Evaluation of Promptable Segmentation},
author = {Andrey Moskalenko and Danil Kuznetsov and Irina Dudko and Anastasiia Iasakova and Nikita Boldyrev and Denis Shepelev and Andrei Spiridonov and Andrey Kuznetsov and Vlad Shakhuro},
journal= {arXiv preprint arXiv:2601.15123},
year = {2026}
}
备注
Accepted by AAAI2026