加速深度神经网络的硬件与软件优化：当前趋势、挑战与未来之路综述
硬件体系结构
2020-12-22 v1 机器学习
摘要
当前，机器学习（ML）正变得无处不在。深度学习（DL）已出现在众多应用中，从医学计算机视觉到现代汽车自动驾驶，以及安全、医疗和金融等其他领域。然而，为取得令人印象深刻的性能，这些算法采用了极深的网络，在训练与推理时均需要显著的计算能力。一次DL模型推理可能需要数十亿次乘累加操作，使DL极度耗费计算与能量。在多种复杂算法需以有限能量和低延迟执行的情形下，对能够实施高能效DL执行的具成本效益硬件平台的需求随之产生。本文首先介绍深度神经网络（DNN）与脉冲神经网络（SNN）两类受脑启发模型的关键性质，然后分析产生高效高性能设计的技术。本工作总结并比较了用于执行算法的四类主流平台——CPU、GPU、FPGA与ASIC——上的工作，描述最先进的主要方案，对后两者给予更多关注，因其提供更大设计灵活性并具备高能量效率潜力，尤其对推理过程。除硬件方案外，本文讨论了这些DNN与SNN模型在执行时可能具有的一些重要安全问题，并提供关于基准测试的完整章节，解释如何评估为其设计的各类网络与硬件系统的质量。
引用
@article{arxiv.2012.11233,
title = {Hardware and Software Optimizations for Accelerating Deep Neural Networks: Survey of Current Trends, Challenges, and the Road Ahead},
author = {Maurizio Capra and Beatrice Bussolino and Alberto Marchisio and Guido Masera and Maurizio Martina and Muhammad Shafique},
journal= {arXiv preprint arXiv:2012.11233},
year = {2020}
}
备注
Accepted for publication in IEEE Access