深度学习推理框架基准测试
机器学习
2022-10-11 v1 性能
摘要
深度学习(DL)近年来已被广泛采用，但它们是计算密集型方法。因此，科学家们提出了多种优化以加速其面向终端用户应用的预测。然而，目前没有单一的推理框架在性能上占主导地位。本文采用整体方法对四个具有代表性的DL推理框架进行实证比较与分析。首先，给定一组CPU-GPU配置，我们表明对于特定的DL框架，其设置的不同配置可能对预测速度、内存和计算能力产生显著影响。其次，据我们所知，本研究首次识别出在同一GPU中加速共置模型集成的机会。该测量研究对四个代表性DL框架进行了深入的实证比较与分析，并为服务提供商部署和交付DL预测提供实用指导。
引用
@article{arxiv.2210.04323,
title = {Deep Learning Inference Frameworks Benchmark},
author = {Pierrick Pochelu},
journal= {arXiv preprint arXiv:2210.04323},
year = {2022}
}