Mind Mappings:实现高效的算法-加速器映射空间搜索
机器学习
2021-03-03 v1 硬件体系结构
摘要
现代计算日益依赖专用化以满足不断增长的性能与效率需求。设计此类专用硬件架构的一个核心挑战是如何进行映射空间搜索,即从算法到硬件搜索最优映射。先前工作表明,选择低效映射会导致倍乘级效率开销。此外,搜索空间不仅庞大而且非凸、非光滑,排除了先进搜索技术。因此,以往工作被迫采用专家选择或次优搜索启发式来实现映射空间搜索。本工作提出 Mind Mappings,一种用于算法-加速器映射空间搜索的基于梯度的新颖搜索方法。其核心思想是对原本非光滑、非凸的搜索空间导出光滑、可微的近似。借助光滑、可微近似,我们可利用高效的基于梯度的搜索算法寻找高质量映射。我们广泛地将 Mind Mappings 与先前工作所用的黑盒优化方案比较。当被要求为两个重要工作负载(CNN 和 MTTKRP)寻找映射时,所提搜索找到的映射在固定步数下相较模拟退火、遗传算法和强化学习分别取得平均 、 和 更优的能量延迟积(EDP),在固定时长下分别取得 、 和 更优的 EDP。同时,Mind Mappings 返回的映射仅比可能不可达的理论下界高 的 EDP,表明其接近全局最优。
引用
@article{arxiv.2103.01489,
title = {Mind Mappings: Enabling Efficient Algorithm-Accelerator Mapping Space Search},
author = {Kartik Hegde and Po-An Tsai and Sitao Huang and Vikas Chandra and Angshuman Parashar and Christopher W. Fletcher},
journal= {arXiv preprint arXiv:2103.01489},
year = {2021}
}
备注
Appears in the proceedings of the 26th ACM International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS '21), April 19-23, 2021, Virtual, USA