H2H：具有计算与通信感知的异构模型到异构系统映射
机器学习
2022-05-02 v1 人工智能
分布式、并行与集群计算
摘要
现实世界问题的复杂性要求在机器学习（ML）模型和硬件系统中均存在异构性。ML模型的异构性来自多传感器感知与多任务学习，即多模态多任务（MMMT），从而产生多样的深度神经网络（DNN）层与计算模式。系统的异构性来自多样的处理组件，因为将多个专用加速器集成到单一系统中已成为主流方法。因此，一个新出现问题：异构模型到异构系统映射（H2H）。虽然以往的映射算法多聚焦于高效计算，本文中我们认为，为获得更好的系统效率，同时考虑计算与通信不可或缺。我们提出了一种兼具计算与通信感知的新型H2H映射算法；通过以少量计算换取通信，可大幅降低系统整体延迟与能耗。我们基于MAESTRO建模评估了工作的优越性能，相较现有计算优先的映射算法，延迟降低15%–74%，能耗降低23%–64%。
引用
@article{arxiv.2204.13852,
title = {H2H: Heterogeneous Model to Heterogeneous System Mapping with Computation and Communication Awareness},
author = {Xinyi Zhang and Cong Hao and Peipei Zhou and Alex Jones and Jingtong Hu},
journal= {arXiv preprint arXiv:2204.13852},
year = {2022}
}
备注
6 pages