daBNN：面向 ARM 设备的二值神经网络超快推理框架
计算机视觉与模式识别
2019-08-19 v1 多媒体
图像与视频处理
摘要
人们一直普遍认为，二值神经网络（BNNs）可通过将浮点值深度神经网络（DNNs）中的算术运算替换为按位运算来大幅加速推理效率。然而，在低端 ARM 设备（例如手机和嵌入式设备）上尚无支持该想法的开源实现。本工作中，我们提出 daBNN——一个在 ARM 设备上实现 BNNs 的超快推理框架。我们独特地设计了若干针对位打包、二值卷积和内存布局的加速与内存精简策略，以提升推理效率。相较于近期开源的 BNN 推理框架 BMXNet，我们的 daBNN 在单个二值卷积上快 ，在 Bi-Real Net 18（ResNet-18 的 BNN 变体）上约快 。daBNN 是一个 BSD 许可的推理框架，其源代码、示例工程与预训练模型可在线获取：https://github.com/JDAI-CV/dabnn。
引用
@article{arxiv.1908.05858,
title = {daBNN: A Super Fast Inference Framework for Binary Neural Networks on ARM devices},
author = {Jianhao Zhang and Yingwei Pan and Ting Yao and He Zhao and Tao Mei},
journal= {arXiv preprint arXiv:1908.05858},
year = {2019}
}
备注
Accepted by 2019 ACMMM Open Source Software Competition. Source code: https://github.com/JDAI-CV/dabnn