基于目标检测器与适配分割一切模型的 SAR 图像组合式溢油检测
计算机视觉与模式识别
2024-12-24 v2
摘要
基于语义分割的方法在 SAR 图像溢油检测中引起了广泛关注。然而，现有方法在训练阶段需要大量精细标注的分割样本。为缓解这一问题，我们提出了一种组合式溢油检测框架 SAM-OIL，该框架由目标检测器（如 YOLOv8）、适配分割一切模型（Adapted SAM）和有序掩码融合（OMF）模块组成。SAM-OIL 是将强大的 SAM 应用于溢油检测的首次尝试。具体而言，SAM-OIL 策略使用 YOLOv8 获取溢油相关目标的类别和边界框，然后将边界框输入适配 SAM 以检索类别无关的掩码，最后采用 OMF 模块融合掩码与类别。适配 SAM 结合了冻结的 SAM 与可学习的适配器模块，能够增强 SAM 分割模糊目标的能力。OMF 模块作为一种无参数方法，可以有效解决 SAM 内部的像素类别冲突。实验结果表明，SAM-OIL 超越了现有的基于语义分割的溢油检测方法，实现了 69.52% 的 mIoU。结果还表明，OMF 和适配器模块均能有效提升 SAM-OIL 的精度。
引用
@article{arxiv.2401.07502,
title = {Compositional Oil Spill Detection Based on Object Detector and Adapted Segment Anything Model from SAR Images},
author = {Wenhui Wu and Man Sing Wong and Xinyu Yu and Guoqiang Shi and Coco Yin Tung Kwok and Kang Zou},
journal= {arXiv preprint arXiv:2401.07502},
year = {2024}
}
备注
5 pages, 4 figures, published to IEEE Geoscience and Remote Sensing Letters