GPU 利用率与 CNN 推理交叉关系研究
机器学习
2022-12-16 v1 性能
摘要
在开发兼具高预测性能与高应用级推理吞吐（例如每秒帧数）的神经网络架构方面已取得显著进展。另一日益重要的度量是推理期间的 GPU 利用率：衡量已部署神经网络对其运行所在 GPU 计算能力的利用程度。实现高 GPU 利用率对提升应用级吞吐并确保 GPU 部署的良好投资回报至关重要。本文分析卷积神经网络(CNN)推理的 GPU 利用率。我们首先调研 CNN 的 GPU 利用率，表明许多此类 CNN 的 GPU 利用率仍有提升空间。随后我们研究神经架构搜索(NAS)搜索空间内网络的 GPU 利用率，并探索将 GPU 利用率作为度量如何可能用于加速 NAS 本身。我们的研究论证了 CNN 推理时 GPU 利用率存在提升空间，且对 GPU 利用率的认知有可能惠及即便不以利用率为目标的应用。我们希望本研究结果能激发未来在 GPU 高效神经网络设计上的创新。
引用
@article{arxiv.2212.07936,
title = {A Study on the Intersection of GPU Utilization and CNN Inference},
author = {Jack Kosaian and Amar Phanishayee},
journal= {arXiv preprint arXiv:2212.07936},
year = {2022}
}