IRSAM：面向红外小目标检测的Segment Anything Model进阶

最近的Segment Anything Model（SAM）是自然图像分割领域的重大进展，展现出适用于各种下游图像分割任务的强大零样性能。然而，直接利用预训练的SAM用于红外小目标检测（IRSTD）任务，因自然图像与红外图像之间的显著领域差异，难以实现令人满意的性能。不同于可见光相机，热成像仪通过捕捉红外辐射来揭示物体的温度分布。小目标在物体边界常显示细微的温度过渡。为此，我们提出用于IRSTD的IRSAM模型，以改进SAM的编码器-解码器架构，学习更好的红外小目标特征表示。具体而言，我们设计了基于Perona-Malik扩散（PMD）的模块，并将其整合到SAM编码器的多个层级，以帮助捕获关键结构特征并抑制噪声。此外，我们设计了粒度感知解码器（Granularity-Aware Decoder, GAD），用于融合编码器来自不同层级的多尺度特征，以捕获可能在长程建模中丢失的结构信息。在包括NUAA-SIRST、NUDT-SIRST和IRSTD-1K在内的公开数据集上的广泛实验验证了IRSAM设计的合理性及其在代表性最新方法上的显著优势。源码地址：https://github.com/IPIC-Lab/IRSAM。