基于基础模型的语义分割主动标签纠正
计算机视觉与模式识别
2024-06-05 v2
摘要
语义分割模型的训练和验证需要像素级注释的数据，而这类数据标注工作 notoriously 繁重。虽然存在有用先验条件（如基础模型或众包数据集），但这些数据源常常可靠性不足。因此，我们提出了一种基于纠正查询设计的有效主动标签纠正(ALC)框架，用于修正像素的伪标签，该框架在理论分析和用户研究后，比标准方法更易于注释员操作。具体而言，利用提供伪标签和超像素的零样预测能力的基础模型，我们的方法包含两个关键技术：(i) 基于伪标签的注释员友好型纠正查询设计；(ii) 基于超像素的前瞻标签扩展获取函数。在 PASCAL、Cityscapes 和 Kvasir-SEG 数据集上的实验结果表明，我们的 ALC 框架有效，优于现有的主动语义分割和标签纠正方法。值得注意的是，我们的方法使 PASCAL 数据集中 260 万个像素的错误得到纠正。
引用
@article{arxiv.2403.10820,
title = {Active Label Correction for Semantic Segmentation with Foundation Models},
author = {Hoyoung Kim and Sehyun Hwang and Suha Kwak and Jungseul Ok},
journal= {arXiv preprint arXiv:2403.10820},
year = {2024}
}