面向精确的平台感知深度神经网络性能建模
机器学习
2020-12-02 v1 人工智能
性能
摘要
在本文中，我们提供了一种细粒度的基于机器学习的方法 PerfNetV2，它改进了我们先前工作在多种 GPU 加速器上建模神经网络性能的准确性。给定一个应用，所提方法可用于预测该应用中使用的卷积神经网络的推理时间与训练时间，这使系统开发者能够通过选择神经网络和/或引入硬件加速器来优化性能，从而及时交付满意的结果。此外，所提方法能够预测未见或非存在设备的性能，例如具有更高工作频率、更少处理器核心但更大内存容量的新 GPU。这使系统开发者能够快速搜索硬件设计空间并/或微调系统配置。与先前工作相比，PerfNetV2 通过对执行完整神经网络时的详细主机-加速器交互进行建模并改进预测器中使用的机器学习模型架构，给出了更准确的结果。我们的案例研究表明，在 NVIDIA GTX-1080Ti 上，PerfNetV2 对 LeNet、AlexNet 和 VGG16 的平均绝对百分比误差在 13.1% 以内，而 ICBD 2018 发表的一项先前工作的误差率可能高达 200%。
引用
@article{arxiv.2012.00211,
title = {Toward Accurate Platform-Aware Performance Modeling for Deep Neural Networks},
author = {Chuan-Chi Wang and Ying-Chiao Liao and Ming-Chang Kao and Wen-Yew Liang and Shih-Hao Hung},
journal= {arXiv preprint arXiv:2012.00211},
year = {2020}
}