揭示 Segment Anything Model 2 在语言引导 RGB-热红外语义分割中的潜力
计算机视觉与模式识别
2025-07-23 v2 机器人学
图像与视频处理
摘要
机器人系统的感知能力依赖于数据集的丰富程度。尽管 Segment Anything Model 2 (SAM2) 在大型数据集上训练，在感知任务中展现出强大的感知潜力，但其固有的训练范式使其不适用于 RGB-T 任务。为了应对这些挑战，我们提出 SHIFNet，一种新颖的 SAM2 驱动的混合交互范式，通过语言引导释放 SAM2 的潜力，以实现高效的 RGB-热红外感知。我们的框架由两个关键组件组成：(1) 语义感知跨模态融合（SACF）模块，通过文本引导的亲和力学习动态平衡模态贡献，克服 SAM2 固有的 RGB 偏差；(2) 异构提示解码器（HPD），通过语义增强模块增强全局语义信息，随后结合类别嵌入以放大跨模态语义一致性。凭借 32.27M 的可训练参数，SHIFNet 在公共基准上实现了最先进的分割性能，在 PST900 上达到 89.8%，在 FMB 上达到 67.8%。该框架促进了预训练大模型向 RGB-T 分割任务的适应，有效缓解了与数据收集相关的高昂成本，同时赋予机器人系统全面的感知能力。源代码将在 https://github.com/iAsakiT3T/SHIFNet 公开。
引用
@article{arxiv.2503.02581,
title = {Unveiling the Potential of Segment Anything Model 2 for RGB-Thermal Semantic Segmentation with Language Guidance},
author = {Jiayi Zhao and Fei Teng and Kai Luo and Guoqiang Zhao and Zhiyong Li and Xu Zheng and Kailun Yang},
journal= {arXiv preprint arXiv:2503.02581},
year = {2025}
}
备注
Accepted to IROS 2025. The source code will be made publicly available at https://github.com/iAsakiT3T/SHIFNet