面向边缘设备先进车载应用的thermal前向视觉系统的开发、优化与部署
摘要
在本研究工作中，我们提出了一种 thermal tiny-YOLO 多类目标检测（TTYMOD）系统，作为一种智能前向感知系统，利用端到端 YOLO 深度学习框架，在所有天气与恶劣环境条件下保持有效。它为驾驶辅助提供了增强的安全性与改进的感知特性。该系统在大规模 thermal 公开数据集以及新收集的、包含超过35,000张不同 thermal 帧的新型开源数据集上训练。为使 YOLO-v5 tiny 网络变体在 thermal 数据上最优训练与收敛，我们采用了不同优化器，包括随机梯度下降（SGD）、Adam 及其改进了权重衰减实现的变体 AdamW。thermal 调优的 tiny 架构性能进一步在公开及本地收集的测试数据上、于多样且具挑战性的天气与环境条件下评估。thermal 调优的 nano 网络效能使用多种定性指标量化，包括平均精度均值、每秒帧率与平均推理时间。实验结果表明，该网络以每帧4毫秒的平均推理时间取得了56.4%的最佳 mAP。研究进一步使用 TensorFlow Lite 量化工具对 tiny 网络变体进行优化，这有益于深度学习架构在边缘与移动设备上的部署。本研究使用树莓派4计算板评估了优化版 thermal 目标检测网络用于车载传感器套件的实时可行性性能。源代码、训练与优化模型及完整验证/测试结果公开于 https://github.com/MAli-Farooq/Thermal-YOLO-And-Model-Optimization-Using-TensorFlowLite。
引用
@article{arxiv.2301.07613,
title = {Development, Optimization, and Deployment of Thermal Forward Vision Systems for Advance Vehicular Applications on Edge Devices},
author = {Muhammad Ali Farooq and Waseem Shariff and Faisal Khan and Peter Corcoran},
journal= {arXiv preprint arXiv:2301.07613},
year = {2023}
}
备注
The paper is accepted and in the publication phase at ICMV 2022 Conference. Link: http://icmv.org/