面向边缘设备优化分组卷积
机器学习
2020-06-18 v1 计算机视觉与模式识别
分布式、并行与集群计算
机器学习
摘要
在受限硬件上部署深度神经网络时，可以用分组卷积替换网络的标准卷积。这能在精度损失极小的情况下大幅节省内存。然而，现代深度学习框架中当前的分组卷积实现在速度方面远未达最优。本文提出分组空间打包卷积（GSPC），一种优于现有方案的分组卷积新实现。我们在TVM中实现GSPC，在边缘设备上提供最先进的性能。我们分析了一组利用不同类型分组卷积的网络，并评估了它们在多个边缘设备上的推理时间性能。我们观察到，我们的新实现随组数的增加具有良好的可扩展性，并在所有设置中提供最佳推理时间，相较于TVM、PyTorch和TensorFlow Lite中现有的分组卷积实现，平均分别提升3.4倍、8倍和4倍。代码见 https://github.com/gecLAB/tvm-GSPC/
引用
@article{arxiv.2006.09791,
title = {Optimizing Grouped Convolutions on Edge Devices},
author = {Perry Gibson and José Cano and Jack Turner and Elliot J. Crowley and Michael O'Boyle and Amos Storkey},
journal= {arXiv preprint arXiv:2006.09791},
year = {2020}
}
备注
Camera ready version to be published at ASAP 2020 - The 31st IEEE International Conference on Application-specific Systems, Architectures and Processors. 8 pages, 6 figures