Marvel：面向空间加速器上 DNN 算子的以数据为中心的编译器
分布式、并行与集群计算
2020-06-15 v2 机器学习
性能
摘要
空间 DNN 加速器的效率在很大程度上取决于编译器及其代价模型将 DNN 模型各类算子生成到加速器计算和内存资源上的优化映射的能力。但现有代价模型缺乏对算子的形式化边界以进行精确且可处理的分析，这给新 DNN 算子带来适应性挑战。为应对该挑战，我们利用近期提出的 Maestro 以数据为中心（MDC）记号。我们针对其映射可用 MDC 记号描述的 DNN 算子建立了形式化理解，因为任何遵循该记号的映射总可由 MDC 代价模型分析。此外，我们引入一种将映射翻译为 MDC 记号以探索映射空间的变换。由于映射空间巨大，寻找最优映射十分困难，而新算子和多样化加速器配置更使该挑战加剧。为应对此挑战，我们提出一种解耦的片外/片内方法，将映射空间分解为片外和片内子空间，并先优化片外子空间再优化片内子空间。该分解的动机是大幅缩减搜索空间规模，并优先优化片外数据搬移——其比片内数据搬移高 2-3 个数量级。我们在名为 Marvel 的工具中实现了该方法，其另一主要益处是适用于任何符合 MDC 记号的 DNN 算子。
引用
@article{arxiv.2002.07752,
title = {Marvel: A Data-centric Compiler for DNN Operators on Spatial Accelerators},
author = {Prasanth Chatarasi and Hyoukjun Kwon and Natesh Raina and Saurabh Malik and Vaisakh Haridas and Angshuman Parashar and Michael Pellauer and Tushar Krishna and Vivek Sarkar},
journal= {arXiv preprint arXiv:2002.07752},
year = {2020}
}