FamilySeer：通过利用计算子图相似性优化张量代码
机器学习
2022-01-04 v1 分布式、并行与集群计算
编程语言
摘要
高效部署各种深度学习（DL）模型推动了 DL 编译器的研究。生成优化张量代码的困难促使 DL 编译器寻求自动调优方法，且日益增长的需求要求提高自动调优的效率与质量。当前，DL 编译器将输入的 DL 模型划分为若干子图，并利用自动调优来寻找这些子图的最优张量代码。然而，现有自动调优方法通常将子图视为独立的个体，忽视了它们之间的相似性，因而在有限的时间预算下无法发掘更优的张量代码。我们提出 FamilySeer，一种面向 DL 编译器的自动调优框架，即便在有限时间预算下也能生成更好的张量代码。FamilySeer 利用子图之间的相似性与差异，将其组织为子图族，其中对一个子图的调优也能改进同一族内其他子图。每个族的成本模型获得由该族生成的更纯净的训练样本，从而变得更加准确，使得在真实硬件上代价高昂的测量可被通过成本模型的轻量级估计所替代。我们的实验表明，FamilySeer 能比最先进的自动调优框架更高效地生成具有相同代码性能的模型代码。
引用
@article{arxiv.2201.00194,
title = {FamilySeer: Towards Optimized Tensor Codes by Exploiting Computation Subgraph Similarity},
author = {Shanjun Zhang and Mingzhen Li and Hailong Yang and Yi Liu and Zhongzhi Luan and Depei Qian},
journal= {arXiv preprint arXiv:2201.00194},
year = {2022}
}