形式是否追随功能？深度神经网络架构设计对硬件专用加速影响的实证探索
机器学习
2021-07-12 v1 人工智能
计算机视觉与模式识别
摘要
关于深度神经网络架构设计与硬件专用加速之间形式与功能的细粒度关系，是研究文献中未被充分探讨的一个领域，其中形式往往由准确率而非硬件功能决定。本研究开展了一项全面的实证探索，以考察深度神经网络架构设计对通过硬件专用加速所能实现的推理加速程度的影响。更具体地，我们通过 OpenVINO 微处理器专用和 GPU 专用加速的视角，实证研究了不同架构深度下多种常用宏架构设计模式的影响。实验结果表明，虽然利用硬件专用加速实现了平均 380% 的推理加速，但推理加速程度因宏架构设计模式而差异巨大，其中深度可分离瓶颈卷积设计模式取得了最大 550% 的加速。此外，我们深入探讨了随着架构深度和宽度的增加，FLOPs 需求、三级缓存效能与网络延迟之间的相关性。最后，我们分析了对多种手工设计的深度卷积神经网络架构以及通过神经架构搜索策略发现的架构，使用硬件专用加速相对于原生深度学习框架的推理时间缩减。我们发现 DARTS 衍生的架构从硬件专用软件加速中获益最大（1200%），而基于深度可分离瓶颈卷积的 MobileNet-V2 总体推理时间最低，约为 2.4 ms。
引用
@article{arxiv.2107.04144,
title = {Does Form Follow Function? An Empirical Exploration of the Impact of Deep Neural Network Architecture Design on Hardware-Specific Acceleration},
author = {Saad Abbasi and Mohammad Javad Shafiee and Ellick Chan and Alexander Wong},
journal= {arXiv preprint arXiv:2107.04144},
year = {2021}
}
备注
8 pages