用于无人机野火图像的分割模型的FPGA智能相机实现
计算机视觉与模式识别
2023-09-06 v1 图像与视频处理
摘要
野火因其对社会和环境的多层次影响，是全球最相关的自然灾害之一。因此，已有大量研究调查并应用计算机视觉技术以解决该问题。最具前景的野火扑救方法之一是使用配备可见光与红外摄像机的无人机，以远程但贴近受灾区域的方式进行探测、监测与火势评估。然而，在机载端实现有效的计算机视觉算法通常难以实现，因为部署运行于GPU上的全精度深度学习模型因高功耗和无人机有限载荷而不可行。因此，本工作中我们认为，基于低功耗现场可编程门阵列（FPGA）的智能相机与二值化神经网络（BNN）相结合，代表了在边缘实现机载计算的一种高性价比替代方案。在此，我们给出了应用于科西嘉火灾数据库的分割模型实现。我们针对该任务优化了已有的U-Net模型，并将模型移植到边缘设备（Xilinx Ultra96-v2 FPGA）上。通过剪枝与量化原始模型，我们将参数量减少了90%。此外，额外优化使我们能将原始模型的吞吐量从每秒8帧（FPS）提升至33.63 FPS，且不损失分割性能：我们的模型在马修斯相关系数（MCC）上取得0.912，在F1分数上取得0.915，在Hafiane质量指数（HAF）上取得0.870，且与原始全精度模型相比具有可媲美的定性分割结果。最终模型被集成到一个低成本FPGA中，用于实现神经网络加速器。
引用
@article{arxiv.2309.01318,
title = {An FPGA smart camera implementation of segmentation models for drone wildfire imagery},
author = {Eduardo Guarduño-Martinez and Jorge Ciprian-Sanchez and Gerardo Valente and Vazquez-Garcia and Gerardo Rodriguez-Hernandez and Adriana Palacios-Rosas and Lucile Rossi-Tisson and Gilberto Ochoa-Ruiz},
journal= {arXiv preprint arXiv:2309.01318},
year = {2023}
}
备注
This paper has been accepted at the 22nd Mexican International Conference on Artificial Intelligence (MICAI 2023)