利用并发架构降低图像识别的推理延迟
计算机视觉与模式识别
2020-11-17 v1
摘要
满足现代深度学习架构的高计算需求对于实现低推理延迟而言颇具挑战。当前降低延迟的方法仅增加层内并行度。这是因为架构通常捕获单链依赖模式,阻碍了具有更高并发度(即跨设备同时执行一次推理)的高效分布。此类单链依赖极为普遍,甚至隐式地偏置了近期神经架构搜索(NAS)研究。在这篇前瞻性论文中,我们提请注意一个全新的 NAS 空间,其放宽单链依赖以提供更高并发与分布机会。为定量比较这些架构,我们提出一个涵盖通信、并发与负载均衡等关键指标的评分。此外,我们提出一种新的生成器与变换块,相较当前最优方法持续给出更优架构。最后,我们的初步结果表明这些新架构降低了推理延迟,值得更多关注。
引用
@article{arxiv.2011.07092,
title = {Reducing Inference Latency with Concurrent Architectures for Image Recognition},
author = {Ramyad Hadidi and Jiashen Cao and Michael S. Ryoo and Hyesoon Kim},
journal= {arXiv preprint arXiv:2011.07092},
year = {2020}
}