DNNAbacus：面向深度神经网络精确计算成本预测
机器学习
2022-05-25 v1 性能
摘要
深度学习正吸引着自然语言处理、语音识别与计算机视觉等多个领域的关注。然而，模型训练耗时且需要巨大的计算资源。现有关于深度神经网络性能预测的工作大多聚焦于少数模型的训练时间预测，依赖解析模型并导致较高的相对误差。本文调研了 29 个经典深度神经网络的计算资源需求，并构建了用于预测计算成本的精确模型。我们首先分析了典型网络的性能剖析结果，表明具有不同输入与超参数的模型其计算资源需求并不明显直观。随后我们提出了一种轻量级预测方法 DNNAbacus，其采用新颖的网络结构矩阵进行网络表示。DNNAbacus 能准确预测 PyTorch 与 TensorFlow 模型的内存与时间成本，并可泛化至不同硬件架构，对未见网络具备零样本能力。实验结果表明，对于 29 个经典模型，相对于时间的平均相对误差（MRE）为 0.9%，相对于内存为 2.8%，远低于现有最优工作。
引用
@article{arxiv.2205.12095,
title = {DNNAbacus: Toward Accurate Computational Cost Prediction for Deep Neural Networks},
author = {Lu Bai and Weixing Ji and Qinyuan Li and Xilai Yao and Wei Xin and Wanyi Zhu},
journal= {arXiv preprint arXiv:2205.12095},
year = {2022}
}