打破对齐障碍：面向无对齐 RGB-T 显著目标检测的 TPS 驱动语义关联学习
计算机视觉与模式识别
2025-12-29 v1
摘要
现有的 RGB-T 显著目标检测方法主要依赖人工对齐和标注的数据集，难以处理包含原始、未对齐 RGB-T 图像对的真实场景。在实际应用中，由于空间未对齐、尺度变化和视角偏移等显著的跨模态差异，现有方法在未对齐数据集上的性能急剧下降。为了解决这个问题，我们提出了一种针对真实世界未对齐图像对的高效 RGB-T SOD 方法，称为薄板样条驱动的语义关联学习网络 (TPS-SCL)。我们采用双流 MobileViT 作为编码器，结合高效的 Mamba 扫描机制，在保持低参数量和计算开销的同时，有效地对两种模态之间的关联进行建模。为了在对齐过程中抑制冗余背景信息的干扰，我们设计了语义关联约束模块 (SCCM)，以分层约束显著特征。此外，我们引入了薄板样条对齐模块 (TPSAM) 以缓解模态之间的空间差异。另外，还引入了跨模态关联模块 (CMCM) 以充分探索和整合模态间依赖关系，从而增强检测性能。在各种数据集上的大量实验表明，TPS-SCL 在现有的轻量级 SOD 方法中达到了最先进的 (SOTA) 性能，并优于主流的 RGB-T SOD 方法。
引用
@article{arxiv.2512.21856,
title = {Breaking Alignment Barriers: TPS-Driven Semantic Correlation Learning for Alignment-Free RGB-T Salient Object Detection},
author = {Lupiao Hu and Fasheng Wang and Fangmei Chen and Fuming Sun and Haojie Li},
journal= {arXiv preprint arXiv:2512.21856},
year = {2025}
}
备注
Accepted by AAAI2026