面向实时系统的 NVIDIA Jetson Nano 深度学习模型基准测试：一项实证研究
硬件体系结构
2024-06-26 v1 计算机视觉与模式识别
机器学习
摘要
复杂深度学习 (DL) 模型的普及已经彻底改变了各种应用，包括基于计算机视觉的解决方案，促使它们被集成到实时系统中。然而，这些模型资源密集型的特性给部署在低计算能力和低内存设备（如嵌入式和边缘设备）上带来了挑战。本工作通过实证研究优化此类复杂 DL 模型，以分析其在嵌入式设备（特别是 NVIDIA Jetson Nano）上的功能。它评估了优化模型在图像分类和视频动作检测方面的推理速度有效性。实验结果表明，平均而言，优化模型比其未优化的对应模型速度提升了 16.11%。这不仅强调了在模型开发和部署中考虑硬件约束和环境可持续性的关键需求，也凸显了模型优化在使 AI 辅助技术能够广泛部署于资源受限计算系统中的关键作用。它还证明，优先考虑特定硬件的模型优化可以产生高效且可扩展的解决方案，从而显著降低能耗和碳足迹。
引用
@article{arxiv.2406.17749,
title = {Benchmarking Deep Learning Models on NVIDIA Jetson Nano for Real-Time Systems: An Empirical Investigation},
author = {Tushar Prasanna Swaminathan and Christopher Silver and Thangarajah Akilan},
journal= {arXiv preprint arXiv:2406.17749},
year = {2024}
}
备注
7 pages, 4 figures