神奇动物在哪里：使用双SAM分割任意海洋动物
计算机视觉与模式识别
2024-04-09 v1 多媒体
摘要
作为水下智能的重要支柱，海洋动物分割（MAS）涉及分割海洋环境中的动物。以往的方法在提取长程上下文特征方面表现不佳，并且忽略了离散像素之间的连通性。最近，Segment Anything Model（SAM）为通用分割任务提供了一个通用框架。不幸的是，由于使用自然图像训练，SAM没有获得海洋图像的先验知识。此外，SAM的单位置提示对于先验指导非常不足。为了解决这些问题，我们提出了一种新颖的特征学习框架，称为Dual-SAM，用于高性能MAS。为此，我们首先引入了一个具有SAM范式的双结构来增强海洋图像的特征学习。然后，我们提出了一种多级耦合提示（MCP）策略来指导全面的水下先验信息，并通过适配器增强SAM编码器的多级特征。随后，我们设计了一个扩张融合注意力模块（DFAM）来逐步整合来自SAM编码器的多级特征。最后，我们不是直接预测海洋动物的掩码，而是提出了一种交叉连通性预测（CP）范式来捕获离散像素之间的互连性。通过双解码器，它生成伪标签并实现互补特征表示的相互监督，从而显著优于以往技术。大量实验证明，我们提出的方法在五个广泛使用的MAS数据集上达到了最先进的性能。代码可在https://github.com/Drchip61/Dual_SAM获取。
引用
@article{arxiv.2404.04996,
title = {Fantastic Animals and Where to Find Them: Segment Any Marine Animal with Dual SAM},
author = {Pingping Zhang and Tianyu Yan and Yang Liu and Huchuan Lu},
journal= {arXiv preprint arXiv:2404.04996},
year = {2024}
}
备注
Accepted by CVPR2024 as Poster(Highlight)