集成深度学习与增强现实以增强消防环境中的态势感知

我们在文献中首次提出了一种新的四管齐下的方法来构建消防员的态势感知。我们构建了一系列相互叠加的深度学习框架，以提高消防员在紧急响应环境中执行救援任务的安全性、效率和成功率。首先，我们使用深度卷积神经网络（CNN）系统实时对热图像中的感兴趣目标进行分类和识别。接下来，我们扩展了该 CNN 框架，利用 Mask RCNN 框架进行目标检测、跟踪和分割，并利用多模态自然语言处理（NLP）框架进行场景描述。第三，我们构建了一个基于深度 Q-learning 的智能体，该智能体不受压力引起的迷失方向和焦虑的影响，能够根据实火环境中观察和存储的事实做出明确的导航决策。最后，我们使用一种名为张量分解的低计算量无监督学习技术，进行有意义的特征提取以进行实时异常检测。借助这些特定的深度学习结构，我们构建了用于消防员态势感知的人工智能系统主干。为了使设计的系统能够供消防员使用，我们设计了一种物理结构，其中处理后的结果被用作创建增强现实的输入，该增强现实能够向消防员通报他们的位置以及周围的关键特征，这对于手头的救援行动至关重要；同时还包含路径规划功能，作为虚拟指南以协助迷失方向的第一响应者返回安全地带。这四种方法结合在一起，提出了一种新颖的信息理解、传输和综合方法，可以显著提高消防员的响应能力和效率，并减少生命损失。