ConformalSAM：利用保守预测解锁基础分割模型在半监督语义分割中的潜力
计算机视觉与模式识别
2025-07-22 v1 人工智能
机器学习
摘要
像素级视觉任务，如语义分割，需要大量且高质量的标注数据，这些数据获取成本较高。半监督语义分割 (SSSS) 已成为通过利用标注数据和未标注数据中的自训练技术来缓解标注负担的解决方案。同时，基于大规模数据预训练的基础分割模型显示出在不同域中有效泛化的潜力。本工作探讨了基础分割模型是否可作为标注稀缺的像素级视觉任务的标注员。具体而言，我们研究了使用 SEEM（一种为文本输入微调的 Segment Anything Model (SAM) 变体）为未标注数据生成预测掩码的有效性。为解决使用 SEEM 生成的掩码作为监督的不足之处，我们提出了 ConformalSAM，一种新的 SSSS 框架，该框架首先使用目标域的标注数据校准基础模型，然后过滤掉未标注数据的不可靠像素标签，以仅使用高置信度标签作为监督。通过利用保守预测 (CP) 对基础模型进行不确定性校准以适应目标数据，ConformalSAM 利用基础分割模型可靠地强大能力，这有利于早期学习；同时，后续的自依赖训练策略可缓解后期训练中对 SEEM 生成掩码的过拟合。我们的实验表明，在三个标准的 SSSS 基准测试中，ConformalSAM 相对于最近的 SSSS 方法表现出优越性能，并可作为插件提升这些方法的性能。
引用
@article{arxiv.2507.15803,
title = {ConformalSAM: Unlocking the Potential of Foundational Segmentation Models in Semi-Supervised Semantic Segmentation with Conformal Prediction},
author = {Danhui Chen and Ziquan Liu and Chuxi Yang and Dan Wang and Yan Yan and Yi Xu and Xiangyang Ji},
journal= {arXiv preprint arXiv:2507.15803},
year = {2025}
}
备注
ICCV 2025