M-SpecGene：面向 RGBT 多光谱视觉的泛化基础模型
计算机视觉与模式识别
2025-07-29 v2
摘要
RGB-热红外（RGBT）多光谱视觉对于复杂环境中的鲁棒感知至关重要。大多数 RGBT 任务遵循逐案研究范式，依赖人工定制的模型来学习面向任务的表示。然而，该范式固有地受到人工归纳偏置、模态偏置和数据瓶颈的限制。为了解决这些局限性，我们初步尝试构建泛化 RGBT 多光谱基础模型（M-SpecGene），旨在以自监督方式从大规模广泛数据中学习模态不变表示。M-SpecGene 为多光谱融合提供了新见解，并将先前的逐案研究整合到统一范式中。考虑到 RGBT 数据中信息不平衡的独特特征，我们引入跨模态结构稀疏性（CMSS）度量来量化两个模态间的信息密度。然后我们开发了 GMM-CMSS 渐进式掩码策略，以促进灵活、由易到难且以对象为中心的预训练过程。综合实验验证了 M-SpecGene 在四个 RGBT 下游任务的十一个数据集上的泛化能力。代码将开源于 https://github.com/CalayZhou/M-SpecGene。
引用
@article{arxiv.2507.16318,
title = {M-SpecGene: Generalized Foundation Model for RGBT Multispectral Vision},
author = {Kailai Zhou and Fuqiang Yang and Shixian Wang and Bihan Wen and Chongde Zi and Linsen Chen and Qiu Shen and Xun Cao},
journal= {arXiv preprint arXiv:2507.16318},
year = {2025}
}
备注
accepted by ICCV2025