多光谱数据中深度显著性图生成器在目标检测上的比较

深度神经网络，尤其是卷积深度神经网络，是对图像、视频或声音进行分类、分割甚至生成的先进方法。然而，这些方法缺乏对内部发生情况的良好语义理解。为何一个 COVID-19 检测器将一组肺部 CT 图像分类为阳性，这个问题有时比整体的特异性和敏感性更有趣。特别是当人类领域专家知识与给定输出不一致时。这样，人类领域专家也可被建议重新考虑其选择，参考系统指出的信息。此外，深度学习模型可被控制，并且可发现当前数据集偏差。目前，计算机视觉领域大多数可解释 AI 方法纯粹用于图像分类，其中图像为可见光光谱中的普通图像。因此，关于这些方法在多模态图像数据上表现如何尚无比较，且大多数方法尚未被研究在用于目标检测时的表现。本工作试图弥补这些空白。首先，研究三种显著性图生成器方法，其生成的图在不同光谱上如何差异。这通过准确而系统的训练实现。其次，我们考察它们在用于目标检测时的表现。作为一个实际问题，我们选择了自动驾驶中红外与可见光光谱下的目标检测。本工作使用的数据集为多光谱目标检测数据集，其中每个场景均有 FIR、MIR、NIR 以及可见光光谱可用。结果表明，红外与可见光激活图之间存在差异。此外，使用红外与可见光数据的高级训练不仅改善了网络输出，还使显著性图中出现更聚焦的区域。