ISyNet:面向 AI 加速器的卷积神经网络设计
计算机视觉与模式识别
2022-08-22 v2
摘要
近年来,深度学习在计算机视觉、自然语言处理、语音识别等诸多实际问题中取得了显著成果。多年来,研究的主要目标是提升模型质量,即便复杂度高得 impractical 也在所不惜。然而,对于常需实时运行的量产方案,模型的延迟起着极为关键的作用。当前最先进的架构是通过神经架构搜索(NAS)并兼顾模型复杂度得到的。但设计适合特定硬件的搜索空间仍是一项挑战。为此,我们提出一种神经架构搜索空间的硬件效率度量——矩阵效率度量(MEM);一个由硬件高效操作构成的搜索空间;一种延迟感知的缩放方法;以及 ISyNet——一组专为在专用神经处理单元(NPU)硬件上快速且同时保持高精度的架构。我们在 ImageNet 上展示了所设计架构针对 NPU 设备的优势,以及其在下游分类与检测任务上的泛化能力。
引用
@article{arxiv.2109.01932,
title = {ISyNet: Convolutional Neural Networks design for AI accelerator},
author = {Alexey Letunovskiy and Vladimir Korviakov and Vladimir Polovnikov and Anastasiia Kargapoltseva and Ivan Mazurenko and Yepan Xiong},
journal= {arXiv preprint arXiv:2109.01932},
year = {2022}
}
备注
13 pages, 5 figures