基于语言辅助蒸馏的分割任意 RGB-热红外模型
计算机视觉与模式识别
2025-05-06 v1 人工智能
摘要
最近的分割任意模型（SAM）在各种下游任务中展示了强大的实例分割性能。然而，SAM 仅在 RGB 数据上训练，这限制了其在 RGB-热红外（RGB-T）语义分割中的直接应用。鉴于 RGB-T 为恶劣天气和光照条件（如低光和过度曝光）下的场景理解提供了鲁棒的解决方案，我们提出了一种新颖的框架 SARTM，它针对 RGB-T 语义分割定制了强大的 SAM。我们的核心思想是释放 SAM 的潜力，同时为 RGB-T 数据对引入语义理解模块。具体来说，我们的框架首先通过添加额外的 LoRA 层来微调原始 SAM，旨在保留 SAM 对下游任务的强大泛化和分割能力。其次，我们引入语言信息作为训练 SARTM 的指导。为了解决跨模态不一致问题，我们引入了一个跨模态知识蒸馏（CMKD）模块，该模块在保持其泛化能力的同时有效地实现了模态适应。这个语义模块能够最小化模态差距并缓解语义模糊性，有助于在任何视觉条件下组合任何模态。此外，我们通过调整 SAM 的分割头并引入一个辅助语义分割头来增强分割性能，该头集成了多尺度特征以实现有效融合。在三个多模态 RGBT 语义分割基准数据集（MFNET、PST900 和 FMB）上进行了大量实验。定量和定性结果一致表明，所提出的 SARTM 在各种条件下均显著优于最先进的方法。
引用
@article{arxiv.2505.01950,
title = {Segment Any RGB-Thermal Model with Language-aided Distillation},
author = {Dong Xing and Xianxun Zhu and Wei Zhou and Qika Lin and Hang Yang and Yuqing Wang},
journal= {arXiv preprint arXiv:2505.01950},
year = {2025}
}
备注
arXiv admin note: text overlap with arXiv:2412.04220 by other authors