基于因果提示校准的Segment Anything模型用于开放词汇多实体分割
计算机视觉与模式识别
2025-05-13 v1
摘要
尽管Segment Anything Model (SAM)在开放词汇多实体分割（OVMS）中表现出强大的能力，但仍面临着在开放词汇多实体分割中的泛化性问题。通过经验性和因果分析，我们发现：（i）提示偏置是泛化问题的主要原因；（ii）这种偏置与提示中与任务无关的生成因素密切相关，这些因素充当了混杂因素，并影响泛化性。为了解决泛化问题，本文旨在提出一种能够校准提示以消除混杂因素以实现准确OVMS的方法。基于因果分析，我们提出，OVMS的最优提示应仅包含任务相关的因果因素。我们将其定义为因果提示，作为校准的目标。接着，我们基于因果多分布一致性理论进行理论分析，证明了这种提示可以通过强制分割一致性和最优性来获得。灵感来自这一发现，我们提出了CPC-SAM，这是一种用于实现准确OVMS的因果提示校准方法。它将轻量级因果提示学习器（CaPL）集成到SAM中，以获得因果提示。具体而言，我们首先使用随机注释生成多个提示，以模拟多样化的分布，然后通过CaPL对其进行重新加权，依据在任务和实体水平上的因果多分布一致性进行加权。为确保获得因果提示，CaPL通过最小化跨重新加权提示的累积分割损失来实现一致性和最优性。采用双层优化策略，交替优化CaPL和SAM，以实现准确的OVMS。大量实验验证了其优越性。
引用
@article{arxiv.2505.06524,
title = {Causal Prompt Calibration Guided Segment Anything Model for Open-Vocabulary Multi-Entity Segmentation},
author = {Jingyao Wang and Jianqi Zhang and Wenwen Qiang and Changwen Zheng},
journal= {arXiv preprint arXiv:2505.06524},
year = {2025}
}