DNNFuser：以生成式预训练 Transformer 作为 DNN 加速器中层融合的通用映射器
机器学习
2022-06-08 v2 人工智能
摘要
数据流/映射决定了 DNN 加速器的计算和能效。已有许多映射器被提出以解决层内映射空间的问题。然而，针对层间映射空间（即层融合映射空间）的映射器却鲜有讨论。在本工作中，我们提出了一个名为 DNNFuser 的映射器，专门聚焦于该层融合映射空间。尽管现有的 SOTA DNN 映射探索依赖于基于搜索的映射器，但据我们所知，这是首个提出一次性基于推理的映射器的工作。我们利用 Transformer 作为我们的 DNN 架构，将层融合优化作为一个序列建模问题来学习。此外，训练好的 DNNFuser 能够泛化其知识并为未见过的条件推断新解。在一次推理过程中，DNNFuser 能够推断出与高度优化的基于搜索的映射器所找到的解性能相当的方案，同时速度提升 66 至 127 倍。
引用
@article{arxiv.2201.11218,
title = {DNNFuser: Generative Pre-Trained Transformer as a Generalized Mapper for Layer Fusion in DNN Accelerators},
author = {Sheng-Chun Kao and Xiaoyu Huang and Tushar Krishna},
journal= {arXiv preprint arXiv:2201.11218},
year = {2022}
}