双粒度语义提示用于语言引导的红外小目标检测

红外小目标检测由于特征表示有限和严重的背景干扰而仍然具有挑战性，导致次优性能。虽然最近的受CLIP启发的方法尝试利用文本引导进行检测，但它们受到不准确的文本描述和对人工标注的依赖的阻碍。为克服这些局限性，我们提出了DGSPNet，一个端到端的语言提示驱动框架。我们的方法整合了双粒度语义提示：粗粒度文本先验（如'红外图像'、'小目标'）和通过图像空间内的视觉到文本映射导出的细粒度个性化语义描述。这种设计不仅促进了细粒度语义信息的学习，而且可以在推理过程中固有地利用语言提示，而无需依赖任何标注要求。通过充分利用文本描述的精确性和简洁性，我们进一步引入了文本引导通道注意力（TGCA）机制和文本引导空间注意力（TGSA）机制，增强了模型在低层和高层特征空间中对潜在目标的敏感性。大量实验证明我们的方法显著提升了检测准确率，并在三个基准数据集上取得了最先进的性能。