MAS-SAM：用于海洋动物分割的聚合特征方法
计算机视觉与模式识别
2024-05-10 v2 机器人学
摘要
最近，Segment Anything Model(SAM)在生成高质量对象掩码和实现零射图像分割方面表现卓越。然而，作为一种通用视觉模型，SAM主要使用大规模自然光图像进行训练。在水下场景中，它由于光线散射和吸收，表现出显著的性能下降。此外，SAM解码器的简单结构可能导致细粒度对象细节的丢失。为解决上述问题，我们提出了一种名为MAS-SAM的新型特征学习框架，用于海洋动物分割，该框架涉及将有效适配器集成到SAM的编码器中并构建金字塔解码器。具体而言，我们首先构建一个集成有效适配器的SAM编码器，以适应水下场景。然后，引入混合提取模块(HEM)以生成多尺度特征以实现全面指导。最后，我们提出了渐进预测解码器(PPD)以聚合多尺度特征并预测最终分割结果。当与融合注意力模块(FAM)连接时，我们的方法能够从全局上下文线索中提取更丰富的海洋信息以细粒度的局部细节。广泛的实验在四个公开的MAS数据集上表明，MAS-SAM能够比其他典型分割方法获得更好的结果。源代码可在https://github.com/Drchip61/MAS-SAM 获取。
引用
@article{arxiv.2404.15700,
title = {MAS-SAM: Segment Any Marine Animal with Aggregated Features},
author = {Tianyu Yan and Zifu Wan and Xinhao Deng and Pingping Zhang and Yang Liu and Huchuan Lu},
journal= {arXiv preprint arXiv:2404.15700},
year = {2024}
}
备注
Accepted by IJCAI2024 as Poster