用于资源受限系统上卷积神经网络快速推断与简单部署的 C 代码生成器
机器学习
2020-01-17 v1 性能
摘要
在时间关键应用中，卷积神经网络的推断通常需要 GPU。在机器人或嵌入式设备中，由于能耗、空间和成本限制，这些通常不可用。此外，在目标平台上安装深度学习框架甚至原生编译器是不可能的。本文提出一种神经网络代码生成器（NNCG），它从训练好的 CNN 生成封装了推断于单一函数中的纯 ANSI C 代码文件。它可轻易被包含进现有项目，且由于缺乏依赖，交叉编译通常是可能的。此外，代码生成基于已知的训练好 CNN 和目标平台遵循四项设计原则进行优化。该系统利用为此应用设计的小 CNN 进行评估。与 TensorFlow XLA 和 Glow 相比，可展示高达 11.81 的加速，且在延迟方面甚至优于 GPU。
引用
@article{arxiv.2001.05572,
title = {A C Code Generator for Fast Inference and Simple Deployment of Convolutional Neural Networks on Resource Constrained Systems},
author = {Oliver Urbann and Simon Camphausen and Arne Moos and Ingmar Schwarz and Sören Kerner and Maximilian Otten},
journal= {arXiv preprint arXiv:2001.05572},
year = {2020}
}