关注恶劣天气：基于天气感知注意力的目标检测

尽管深度神经网络近期取得了进展，但由于某些传感器在恶劣天气下感知能力较差，恶劣天气中的目标检测仍具挑战性。多模态融合基于多个传感器提供冗余检测信息，已成为一种有前景的方法，而非依赖单一传感器。然而，大多数现有多模态融合方法难以在动态恶劣天气条件下变化检测环境中调整不同传感器的关注点。此外，在复杂天气条件下同时观测局部与全局信息至关重要，而这一点在大多数早期或晚期多模态融合工作中被忽视。有鉴于此，本文提出一种全局-局部注意力（GLA）框架，以在两个融合阶段自适应地融合多模态传感流，即相机、门控相机与激光雷达数据。具体而言，GLA 通过局部注意力网络集成早期融合，并通过全局注意力网络集成晚期融合，以处理局部与全局信息；其在晚期融合中自动将更高权重分配给具有更优检测特征的模态，从而自适应地应对特定天气条件。实验结果表明，所提出的 GLA 在各种恶劣天气条件（如轻雾、浓雾与降雪）下相较于最先进的融合方法具有更优性能。