UNIV：面向红外与可见光模态的统一基础模型
计算机视觉与模式识别
2026-05-14 v3
摘要
联合 RGB-红外感知对于在各种天气和光照条件下实现稳健性至关重要。尽管基础模型在单一模态内表现出色，但它们在跨模态下会出现严重的性能退化，我们将此问题归因于模式捷径，即一种优先关注表层传感器模式而非底层语义的模态偏差。为解决这一问题，我们引入了 UNIV，一种面向红外与可见光模态的统一基础模型。UNIV 的核心是 Patch 跨模态对比学习 (PCCL)，这是一种自监督对比学习策略，用于构建统一的跨模态特征空间。PCCL 采用冻结的预训练模型基于语义相似性采样伪 patch 对，并通过吸引语义相关的对、排斥不相关的对来对齐红外-可见光表示。这一过程同时增强了跨模态对齐与类间语义可分性，引导模型关注语义结构而非陷入模式捷径。为进一步实现跨模态学习，我们引入了 MVIP，这是迄今为止最全面的可见光-红外基准，包含跨多种场景的 98,992 对精确对齐的图像对。大量实验表明，UNIV 在红外任务上表现卓越（语义分割 +1.7 mIoU，检测 +0.7 mAP），同时在 RGB 任务上保持有竞争力的准确率。
引用
@article{arxiv.2509.15642,
title = {UNIV: Unified Foundation Model for Infrared and Visible Modalities},
author = {Fangyuan Mao and Shuo Wang and Jilin Mei and Shun Lu and Chen Min and Fuyang Liu and Xiaokun Feng and Meiqi Wu and Yu Hu},
journal= {arXiv preprint arXiv:2509.15642},
year = {2026}
}