HyPSAM：用于 RGB-热红外显著性目标检测的混合提示驱动 Segment Anything Model
计算机视觉与模式识别
2025-09-24 v1
摘要
RGB-热红外显著性目标检测旨在通过整合 RGB 和热红外模态的互补信息来识别显著目标。然而，由于内在的特征融合不足以及外在的数据稀缺限制，学习精确的边界和完整目标仍然具有挑战性。在本文中，我们提出了一种新颖的混合提示驱动 Segment Anything Model (HyPSAM)，它利用 SAM 的零样本泛化能力来进行 RGB-T SOD。具体而言，我们首先提出了一个动态融合网络 (DFNet)，它生成高质量的初始显著性图作为视觉提示。DFNet 采用动态卷积和多分支解码来促进自适应的跨模态交互，克服了固定参数核的限制并增强了多模态特征表示。此外，我们提出了一个即插即用的精修网络 (P2RNet)，它作为一种通用优化策略，通过使用混合提示来指导 SAM 精修显著性图。文本提示确保了可靠的模态输入，而掩码和框提示则实现了精确的显著目标定位。在三个公开数据集上的大量实验表明，我们的方法实现了 SOTA 性能。值得注意的是，HyPSAM 具有卓越的通用性，能够与不同的 RGB-T SOD 方法无缝集成以实现显著的性能提升，从而突显了提示工程在该领域的潜力。我们方法的代码和结果可在以下网址获取：https://github.com/milotic233/HyPSAM。
引用
@article{arxiv.2509.18738,
title = {HyPSAM: Hybrid Prompt-driven Segment Anything Model for RGB-Thermal Salient Object Detection},
author = {Ruichao Hou and Xingyuan Li and Tongwei Ren and Dongming Zhou and Gangshan Wu and Jinde Cao},
journal= {arXiv preprint arXiv:2509.18738},
year = {2025}
}