Moses:利用跨设备可迁移特征进行张量程序优化的高效方法
机器学习
2022-01-19 v1 编程语言
摘要
近期,实现机器学习模型的高效执行引起了广泛关注。为了高效生成张量程序,深度神经网络(DNN)编译器的关键组件是能够在特定设备上预测每种配置性能的开销模型。然而,由于硬件平台的快速涌现,为每一个新平台训练特定领域的预测器变得越来越耗费人力。此外,当前开销模型的设计无法高效且有效地在不同硬件加速器之间提供可迁移特征。本文中,我们提出 Moses,一种基于彩票假设(lottery ticket hypothesis)的简洁高效设计,它通过域适应充分利用可迁移至目标设备的特征。与最先进的方法相比,Moses 在搜索阶段实现了高达 1.53 倍的效率提升,并在具有挑战性的 DNN 基准上实现了 1.41 倍的推理加速。
引用
@article{arxiv.2201.05752,
title = {Moses: Efficient Exploitation of Cross-device Transferable Features for Tensor Program Optimization},
author = {Zhihe Zhao and Xian Shuai and Yang Bai and Neiwen Ling and Nan Guan and Zhenyu Yan and Guoliang Xing},
journal= {arXiv preprint arXiv:2201.05752},
year = {2022}
}