基于端到端视频异常检测系统对Jetson边缘设备的基准测试

嵌入式系统平台尤其是硬件加速方面的创新显著影响了深度学习在真实场景中的应用。这些创新将人力劳动转化为部署于自动驾驶、机器人、物联网（IoT）等诸多重要领域的自动化智能系统。NVIDIA的Jetson平台是在执行深度学习算法时于能效与吞吐方面提供最优性能的先驱之一。此前，多数基准分析基于2D图像，且每次对比结果仅用单一深度学习模型。本文中，我们实现了一个端到端的基于视频的犯罪现场异常检测系统，其输入来自监控视频，且系统部署并完全运行于多款Jetson边缘设备（Nano、AGX Xavier、Orin Nano）上。对比分析包含了采用Torch-TensorRT（NVIDIA的软件开发工具包）进行模型性能优化。系统基于Facebook的PySlowfast开源项目作为编码模板构建。端到端系统流程包括相机视频、数据预处理流水线、特征提取器与异常检测。我们提供了基于AI的系统借助Docker技术部署于各类Jetson边缘设备的经验。在异常检测器方面，系统中应用了称为鲁棒时序特征幅值学习（RTFM）的弱监督基于视频的深度学习模型。该方案系统在仅总计占用3.11 GB RAM的Jetson边缘设备上达到了47.56帧每秒（FPS）的推理速度。我们还发现了颇具前景的Jetson设备：该AI系统相较前代Jetson设备实现了15%更优性能，同时能耗降低50%。