以色观热——基于SAM引导的多模态蒸馏与辐射测量真值的纯RGB野火温度推断
图像与视频处理
2025-05-06 v1 人工智能
计算机视觉与模式识别
摘要
使用无人机(UAV)进行高保真野火监测通常需要多模态传感——尤其是RGB和热红外影像——这增加了硬件成本和功耗。本文提出SAM-TIFF,一种新颖的师生蒸馏框架,仅使用RGB输入即可进行像素级野火温度预测与分割。一个在配对RGB-热红外影像和辐射测量TIFF真值上训练的多模态教师网络,将知识蒸馏到一个单模态RGB学生网络,从而实现无需热传感器的推断。分割监督通过一种混合方法生成,该方法结合了由任意分割模型(SAM)引导的掩码生成、通过TOPSIS进行的选择,以及用于自动点提示选择的Canny边缘检测和Otsu阈值分割流程。我们的方法是首个从RGB无人机数据中进行逐像素温度回归的方法,在最新的FLAME 3数据集上展示了强大的泛化能力。这项工作为构建无需热传感器的轻量级、低成本无人机野火监测系统奠定了基础。
引用
@article{arxiv.2505.01638,
title = {Seeing Heat with Color -- RGB-Only Wildfire Temperature Inference from SAM-Guided Multimodal Distillation using Radiometric Ground Truth},
author = {Michael Marinaccio and Fatemeh Afghah},
journal= {arXiv preprint arXiv:2505.01638},
year = {2025}
}
备注
7 pages, 4 figures, 4 tables