ResPerfNet：用于深度神经网络回归性能建模的深度残差学习
机器学习
2020-12-04 v1 性能
摘要
计算技术的快速发展促进了多样化深度学习应用的开发。遗憾的是，并行计算基础设施的效率随神经网络模型差异而大不相同，这阻碍了对设计空间的探索，从而难以在特定计算平台上为给定应用找到高性能神经网络架构。为应对这一挑战，我们提出了一种基于深度学习的方法 ResPerfNet，其在目标平台上获取的代表性数据集训练残差神经网络，以预测深度神经网络的性能。实验结果表明，ResPerfNet 能够准确预测各类平台上单个神经网络层及完整网络模型的执行时间。特别地，在 NVIDIA GTX 1080Ti 上，ResPerfNet 对 LeNet、AlexNet 和 VGG16 的平均绝对百分比误差为 8.4%，显著低于已发表的工作。
引用
@article{arxiv.2012.01671,
title = {ResPerfNet: Deep Residual Learning for Regressional Performance Modeling of Deep Neural Networks},
author = {Chuan-Chi Wang and Ying-Chiao Liao and Chia-Heng Tu and Ming-Chang Kao and Wen-Yew Liang and Shih-Hao Hung},
journal= {arXiv preprint arXiv:2012.01671},
year = {2020}
}