Thermal-Det：面向开放词汇热成像目标检测的语言引导跨模态蒸馏
计算机视觉与模式识别
2026-05-12 v1
摘要
现有的开放词汇检测器专注于 RGB 图像，难以泛化至热成像，因为低纹理和发射率变化对基于 RGB 的语义构成了挑战。我们提出了 Thermal-Det，首个专为热成像量身定制的大语言模型（LLM）监督的开放词汇检测器。为实现大规模训练，我们通过将 GroundingCap-1M 转换至热成像域并过滤描述以移除 RGB 特定术语，构建了一个合成数据集，生成了超过一百万个带有边界框、定位文本和详细描述的热对齐样本。Thermal-Det 联合优化检测、描述和跨模态蒸馏目标。冻结的 RGB 教师模型为成对但无标签的 RGB-热成像数据提供几何和语义伪监督，在无需人工标注的情况下迁移开放词汇知识。该模型进一步采用热-文本对齐头进行文本校准，并采用模态融合交叉注意力模块进行双模态推理。与以往的域适应方法不同，该检测器经过全面微调以内化热对比模式，同时保持语言对齐。在公开基准上的实验表明，相较于现有的开放词汇检测器，AP 持续提升 2-4%，为可扩展的语言驱动热感知奠定了坚实基础。
引用
@article{arxiv.2605.10130,
title = {Thermal-Det: Language-Guided Cross-Modal Distillation for Open-Vocabulary Thermal Object Detection},
author = {Yasiru Ranasinghe and Elim Schenck and Florence Yellin and Shuowen Hu and Christopher Funk and Vishal M. Patel},
journal= {arXiv preprint arXiv:2605.10130},
year = {2026}
}
备注
Accepted at CVPR 26