用于消防应用中增强现实的嵌入式深度学习系统
计算机视觉与模式识别
2021-07-23 v1 人工智能
摘要
消防是一项动态活动，其中众多操作同时发生。保持态势感知（即了解现场当前状况与活动）对于消防员安全成功地导航火灾环境所需的准确决策至关重要。反之，由烟雾与极端高温等危险引起的迷失方向可能导致受伤甚至死亡。本研究利用深度学习、点云与热成像以及增强现实平台等近期技术进展，通过改进对场景的解读来提升消防员的态势感知与场景导航能力。我们设计并构建了一个原型嵌入式系统，可利用消防员个人防护装备（PPE）中内置摄像头流式传输的数据，捕获热成像、RGB 彩色与深度图像，随后部署已开发的深度学习模型实时分析输入数据。该嵌入式系统通过无线流式传输分析并返回处理后的图像，可远程查看并经由增强现实平台回传消防员，该平台可视化分析输入的结果，并将消防员的注意力引向感兴趣物体，如透过烟雾与火焰原本不可见的门与窗。
引用
@article{arxiv.2009.10679,
title = {An embedded deep learning system for augmented reality in firefighting applications},
author = {Manish Bhattarai and Aura Rose Jensen-Curtis and Manel MartíNez-Ramón},
journal= {arXiv preprint arXiv:2009.10679},
year = {2021}
}
备注
Accepted to ICMLA Special Session on Deep Learning