Vortex：基于硬件感知策略空间分层的高效无样本动态张量程序优化
分布式、并行与集群计算
2024-09-04 v1
摘要
动态形状深度神经网络（DNN）正快速发展，因其能够在实际应用中处理可变输入大小而受到关注。然而，现有的编译优化方法往往严重依赖预定义的样本来指导编译过程，这限制了其适应性和效率。这些基于样本的方法在实际场景中遇到的多样化和不可预测形状方面往往难以高效管理，常导致性能次优。为此，我们引入 Vortex，一个面向硬件驱动且无需样本的编译器，专为动态形状张量程序优化。Vortex 利用详细的硬件信息，对策略空间进行分层，以促进无需依赖运行时形状样本的高性能代码生成。其独特的双向编译工作流程结合了自上而下的抽象以将张量程序执行与硬件层次结构对齐，以及自下而上的内核构建以缩小搜索空间，使 Vortex 能够实现卓越的效率。综合的评估表明，Vortex 将编译时间缩短了 ，相较于现有的动态形状编译器。此外，它在 CPU 和 GPU 平台上均显著超越现有的供应商提供的库和动态形状编译器，分别实现 和 的加速。
引用
@article{arxiv.2409.01075,
title = {Vortex: Efficient Sample-Free Dynamic Tensor Program Optimization via Hardware-aware Strategy Space Hierarchization},
author = {Yangjie Zhou and Honglin Zhu and Qian Qiu and Weihao Cui and Zihan Liu and Cong Guo and Siyuan Feng and Jintao Meng and Haidong Lan and Jingwen Leng and Wenxi Zhu and Minwen Deng},
journal= {arXiv preprint arXiv:2409.01075},
year = {2024}
}