移动设备上深度学习库与模型的基准测试
机器学习
2022-07-07 v2 网络与互联网体系结构
摘要
近年来，在移动设备上部署深度学习（DL）已成为一个显著趋势。为了支持设备端DL的快速推理，DL库与算法和硬件一样发挥着关键作用。遗憾的是，此前没有工作深入探讨现代DL库的生态系统并提供其性能的定量结果。在本文中，我们首先构建了一个包含6个代表性DL库和15个多样化DL模型的综合基准。随后我们在10台移动设备上进行了大量实验，这有助于揭示当前移动DL库生态系统的完整图景。例如，我们发现表现最佳的DL库在不同模型和硬件间存在严重碎片化，且这些DL库之间的差距可能相当巨大。事实上，DL库的影响可能超过算法或硬件的优化，例如模型量化和基于GPU/DSP的异构计算。最后，基于上述观察，我们总结了针对DL库生态系统中不同角色的实践启示。
引用
@article{arxiv.2202.06512,
title = {Benchmarking of DL Libraries and Models on Mobile Devices},
author = {Qiyang Zhang and Xiang Li and Xiangying Che and Xiao Ma and Ao Zhou and Mengwei Xu and Shangguang Wang and Yun Ma and Xuanzhe Liu},
journal= {arXiv preprint arXiv:2202.06512},
year = {2022}
}