解放通用分割模型：红外小目标检测的简单基线
计算机视觉与模式识别
2024-09-10 v1
摘要
深度学习的近期进展极大地推动了红外小目标检测（IRSTD）领域的发展。尽管这些 IRSTD 方法取得了显著的成功，但与自然图像领域中通用分割方法之间仍存在显著的差距。这一差距主要源于模态差异的显著性以及红外数据稀缺的事实。本文旨在通过研究通用分割模型（如 Segment Anything Model，简称 SAM）适用于 IRSTD 任务的可能性来弥合这一差距。我们的调查结果表明，许多通用分割模型可以实现与最先进 IRSTD 方法相当的性能。然而，这些方法在 IRSTD 中的完全潜能仍未被充分发挥。为此，我们提出了一个简单、轻量且高效的基线模型，用于分割小红外目标。通过合适的蒸馏策略，我们赋予较小的学生模型超越最先进方法的能力，甚至可以超过微调的教师模型。此外，我们通过引入一种新颖的查询设计（由稠密查询和稀疏查询组成），有效地对多尺度特征进行编码。通过在四个流行 IRSTD 数据集上的大量实验，我们的模型在准确率和吞吐量方面均显著优于现有方法，在 NUDT 数据集上超越 SAM 和 Semantic-SAM 超过 14 个 IoU，在 IRSTD1k 数据集上超越 4 个 IoU。源代码和模型将在 https://github.com/O937-blip/SimIR 发布。
引用
@article{arxiv.2409.04714,
title = {Unleashing the Power of Generic Segmentation Models: A Simple Baseline for Infrared Small Target Detection},
author = {Mingjin Zhang and Chi Zhang and Qiming Zhang and Yunsong Li and Xinbo Gao and Jing Zhang},
journal= {arXiv preprint arXiv:2409.04714},
year = {2024}
}
备注
ACM MM'24