理解 DNN 数据流的重用、性能与硬件代价：基于 MAESTRO 的数据中心方法
分布式、并行与集群计算
2020-05-12 v6 机器学习
摘要
DNN 加速器用于利用重用和进行分级存储的数据划分与调度策略称为数据流，它们直接影响 DNN 加速器设计的性能与能量效率。加速器微体系结构决定了可用于执行层或网络的数据流。为层形状选择最优数据流会对利用率和能量效率产生很大影响，但目前缺乏对数据流选择及其后果的理解，也缺乏帮助架构师探索协同优化设计空间的工具与方法。本工作中，我们首先引入一组数据中心指令，以编译器友好的形式简洁地指定 DNN 数据流空间。然后我们展示如何分析这些指令以推断各种形式的重用，并利用硬件能力发掘它们。我们将该分析编纂为一个解析代价模型 MAESTRO（通过时空重用与占用建模加速器效率），其估计数据流的各种成本–收益权衡，包括针对 DNN 模型和硬件配置的执行时间与能量效率。我们展示了 MAESTRO 用于驱动硬件设计空间探索（DSE）实验的用途，该实验在 480M 个设计中搜索，以平均 0.17M 设计/秒的速率识别出 2.5M 个有效设计，包括帕累托最优的吞吐量与能量优化设计点。
引用
@article{arxiv.1805.02566,
title = {Understanding Reuse, Performance, and Hardware Cost of DNN Dataflows: A Data-Centric Approach Using MAESTRO},
author = {Hyoukjun Kwon and Prasanth Chatarasi and Michael Pellauer and Angshuman Parashar and Vivek Sarkar and Tushar Krishna},
journal= {arXiv preprint arXiv:1805.02566},
year = {2020}
}