量化分割基础模型的局限性：分割树状和低对比度物体的建模挑战
计算机视觉与模式识别
2025-11-17 v3 机器学习
图像与视频处理
摘要
图像分割基础模型（SFM），如Segment Anything Model（SAM），已在跨领域零样本和交互式分割中取得了令人瞩目的成就。然而，它们难以分割具有特定结构的物体，特别是那些具有密集、树状形态且与周围环境纹理对比度低的物体。这些失败模式对于理解SFM在真实世界应用中的局限性至关重要。为了系统地研究这个问题，我们引入了可解释的度量指标来量化物体的树状程度和纹理可分离性。在精心控制的合成实验和真实世界数据集上，我们表明SFM的性能（例如，SAM、SAM 2、HQ-SAM）与这些因素显著相关。我们将这些失败归因于SFM将局部结构误解为全局纹理，导致过度分割或难以从相似背景中区分物体。值得注意的是，有针对性的微调未能解决这个问题，这表明存在一个根本性的局限性。我们的研究为建模SFM在挑战性结构上的行为提供了第一个定量框架，为其分割能力提供了可解释的见解。
引用
@article{arxiv.2412.04243,
title = {Quantifying the Limits of Segmentation Foundation Models: Modeling Challenges in Segmenting Tree-Like and Low-Contrast Objects},
author = {Yixin Zhang and Nicholas Konz and Kevin Kramer and Maciej A. Mazurowski},
journal= {arXiv preprint arXiv:2412.04243},
year = {2025}
}
备注
Accepted at WACV 2026. Code: https://github.com/mazurowski-lab/SAMFailureMetrics