PolSAM：极化散射机制驱动的Segment Anything模型
计算机视觉与模式识别
2025-10-01 v2
摘要
PolSAR数据因其丰富且复杂的特性而呈现出独特的挑战。现有的数据表示，如复值数据、极化特征和幅度图像，被广泛使用。然而，这些格式通常面临可用性、可解释性和数据完整性方面的问题。大多数用于PolSAR的特征提取网络规模较小，限制了其有效捕获特征的能力。为了解决这些问题，我们提出了极化散射机制驱动的SAM（PolSAM），这是一种增强的Segment Anything Model（SAM），它集成了特定领域的散射特性和一种新颖的提示生成策略。PolSAM引入了微波视觉数据（MVD），这是一种源自极化分解和语义相关性的轻量级且可解释的数据表示。我们提出了两个关键组件：特征级融合提示（FFP），它融合来自伪彩色SAR图像和MVD的视觉标记，以解决冻结SAM编码器中的模态不兼容问题；以及语义级融合提示（SFP），它利用语义信息来细化稀疏和密集的分割提示。在PhySAR-Seg数据集上的实验结果表明，PolSAM显著优于现有的基于SAM的模型和多模态融合模型，提高了分割精度，减少了数据存储，并加快了推理时间。源代码和数据集将在 https://github.com/XAI4SAR/PolSAM 上公开。
引用
@article{arxiv.2412.12737,
title = {PolSAM: Polarimetric Scattering Mechanism Informed Segment Anything Model},
author = {Yuqing Wang and Zhongling Huang and Shuxin Yang and Hao Tang and Xiaolan Qiu and Junwei Han and Dingwen Zhang},
journal= {arXiv preprint arXiv:2412.12737},
year = {2025}
}
备注
The manuscript is 15 pages long, includes 13 figures and 5 tables