使用图神经网络建模深度神经网络的性能
机器学习
2021-08-31 v1 软件工程
摘要
随着机器学习软件的空前激增，对此类应用生成高效代码的需求与日俱增。最先进的深度学习编译器如 TVM 和 Halide 引入了基于学习的性能模型，以搜索给定深度学习算法的有效实现空间。对于给定应用，该模型生成诸如运行时间之类的性能指标，而无需在硬件上执行该应用。此类模型通过免除在硬件上对大量称为调度（schedules）的候选实现进行基准测试的需要，从而加快了编译过程。现有性能模型采用前馈网络、循环网络或决策树集成来估计神经网络不同实现的性能。图提供了一种自然且直观的方式来建模深度学习网络，其中每个节点代表一个计算阶段或操作。在这些工作负载的性能模型中纳入其固有的图结构，能够实现阶段间交互更好的表示与学习。性能模型的准确性对搜索策略的效率有直接影响，使其成为这类深度学习编译器的关键组件。在这项工作中，我们开发了一种采用图表示的新型性能模型。在我们的模型中，每个计算阶段表示一个由捕捉该阶段所执行操作的特征刻画的节点。节点间的交互通过图卷积实现。实验评估显示，与 Halide 和 TVM 模型相比，预测误差分别降低了 7.75 倍和 12 倍。
引用
@article{arxiv.2108.12489,
title = {Using Graph Neural Networks to model the performance of Deep Neural Networks},
author = {Shikhar Singh and Benoit Steiner and James Hegarty and Hugh Leather},
journal= {arXiv preprint arXiv:2108.12489},
year = {2021}
}