PhoneBit：面向手机的高效 GPU 加速二值神经网络推理引擎
分布式、并行与集群计算
2019-12-10 v1 计算与语言
摘要
近年来，深度神经网络（DNNs）在计算机视觉及其他领域取得了巨大成功。然而，由于其高计算复杂度，性能与功耗限制使得在移动设备上部署 DNNs 仍具挑战。二值神经网络（BNNs）已被证明是一种有前景的方案，通过位运算替代大多数算术运算来实现该目标。目前，现有的 GPU 加速 BNN 实现仅针对桌面平台定制。由于架构差异，此类实现仅简单移植到移动设备会导致次优性能，某些情况下甚至不可行。本文提出 PhoneBit，一种基于 Android 的移动设备 GPU 加速 BNN 推理引擎，充分挖掘 BNNs 在移动 GPU 上的算力。PhoneBit 提供一组算子级优化，包括局部性友好的数据布局、向量化位打包以及用于高效二值卷积的层融合。我们还给出了 PhoneBit 的详细实现与并行化优化，以最优利用移动 GPU 的内存带宽与计算能力。我们使用 AlexNet、YOLOv2 Tiny 及 VGG16 的二值版本评估 PhoneBit。实验结果表明，与移动设备上的先进框架相比，PhoneBit 可实现显著的加速与能效提升。
引用
@article{arxiv.1912.04050,
title = {PhoneBit: Efficient GPU-Accelerated Binary Neural Network Inference Engine for Mobile Phones},
author = {Gang Chen and Shengyu He and Haitao Meng and Kai Huang},
journal= {arXiv preprint arXiv:1912.04050},
year = {2019}
}