利用神经网络推断硬件性能以实现最优 VPU 编译器代价建模
机器学习
2022-05-11 v1 人工智能
神经与进化计算
摘要
在神经网络编译器中计算最高效的工作调度是一项困难任务。有许多参数需被考虑，这些参数根据其配置可能对调度产生正面或负面影响——例如工作在分布式目标间的共享方式、为适配内存而对张量的细分、优化开关的启用等。传统上，神经网络编译器通过构建选择图并选取具有最小“代价”的路径来确定如何设置这些值。这些选择及其相应代价通常由具备目标平台深入知识的工程师所设计的算法决定。然而，当编译器可用选项数量庞大时，很难确保这些模型在所有场景下持续生成最优调度，同时仍在可接受的时间范围内完成编译。本文提出“VPUNN”——一种基于神经网络、训练于底层任务剖析的代价模型，其在 Intel 的 VPU 处理器产品线中持续优于当前最优（SOTA）代价建模。
引用
@article{arxiv.2205.04586,
title = {Towards Optimal VPU Compiler Cost Modeling by using Neural Networks to Infer Hardware Performances},
author = {Ian Frederick Vigogne Goodbody Hunter and Alessandro Palla and Sebastian Eusebiu Nagy and Richard Richmond and Kyle McAdoo},
journal= {arXiv preprint arXiv:2205.04586},
year = {2022}
}
备注
9 pages, 10 figures, 2 tables, Under Review for NeurIPS 2022