HEP-BNN：在异构多处理器平台上寻找二值化神经网络低延迟执行配置的框架
分布式、并行与集群计算
2023-01-13 v1
摘要
与全精度神经网络相比，二值化神经网络（BNN）通过二值化的权重和激活值显著降低了计算和内存需求。在由CPU和GPU组成的异构多处理器平台的不同设备上执行BNN中的某一层会影响推理性能，即准确率和延迟。通常，一个包含CPU和GPU的异构硬件平台可用于执行BNN工作负载。然而，为了有效利用异构硬件，有必要找到一种高效的BNN工作负载映射策略。在这项工作中，我们提出了一个框架，为包含CPU和具备CUDA能力的GPU的执行平台生成高效的BNN层到设备的映射（即模型每一层的合适并行配置）。我们使用两个著名的数据集Fashion-MNIST和CIFAR-10，在三个具有不同特性的硬件平台上，用两种BNN架构评估了我们提出的框架。结果表明，与运行完全并行化的GPU实现相比，我们的框架生成的配置在我们测试的硬件上分别实现了高达2倍、2.6倍和11.8倍的加速。
引用
@article{arxiv.2301.05126,
title = {HEP-BNN: A Framework for Finding Low-Latency Execution Configurations of BNNs on Heterogeneous Multiprocessor Platforms},
author = {Leonard David Bereholschi and Ching-Chi Lin and Mikail Yayla and Jian-Jia Chen},
journal= {arXiv preprint arXiv:2301.05126},
year = {2023}
}
备注
This paper has been accepted for presentation in the 5th Workshop on Accelerated Machine Learning (AccML), co-located with HiPEAC23. 8 Pages, 5 figures