通过从蒸馏扩散模型中添加热感知能力以实现视觉系统的实时热感知
计算机视觉与模式识别
2026-05-08 v1 人工智能
摘要
纯基于 RGB 的视觉模型在夜间和雾天等具挑战性场景中往往无法提供可靠线索，导致性能下降和安全风险。红外成像捕获热源，提供关键的互补信息，但现有的高保真融合方法 suffers from 延迟高昂，使其难以用于实时边缘部署。为此，我们提出FusionProxy，一个设计为具有蒸馏扩散模型水平质量的实时图像融合模块，作为完全独立、即插即用的组件。FusionProxy 利用教师样本集合中两种互补统计信息：用于权重原始图像空间中像素级方差，用于像素级监督，以及用于在冻结的基础网络内部像素级方差，用于在空间上路由特征级对齐。一旦训练完成，FusionProxy 可直接集成到任何视觉感知系统中，而无需联合优化。广泛的实验表明，我们的方法在静态识别任务中实现了卓越的性能，并在动态任务中显著增强了鲁棒性，包括封闭式自动驾驶。关键的是，FusionProxy 在从高端 GPU 到通用硬件的各种平台上实现了实时推理速度，为实现全天候感知提供了一个灵活且通用的解决方案。
引用
@article{arxiv.2605.06010,
title = {Adding Thermal Awareness to Visual Systems in Real-Time via Distilled Diffusion Models},
author = {Yuchen Guo and Junli Gong and Wenjun Dong and Yiuming Cheung and Weifeng Su},
journal= {arXiv preprint arXiv:2605.06010},
year = {2026}
}