从DNN到GAN：深度学习高效硬件架构综述
机器学习
2021-07-02 v1 硬件体系结构
摘要
近来，超大规模集成（VLSI）产业的趋势是多维度的，例如降低能耗、占用更少空间、结果精确、更少功耗、更快响应。为满足这些需求，硬件架构应可靠且对这些问题是鲁棒的。近期，神经网络与深度学习已开始显著影响当前研究范式，其包含百万量级参数、用于激活的非线性函数、用于特征提取的卷积操作、用于分类的回归、生成对抗网络。这些操作涉及巨大的计算与存储开销。现有可用的DSP处理器无法执行这些操作，且大多面临诸如存储开销、性能下降与精度受损等问题。此外，若以巨大硅面积通过并行计算来加速操作，集成电路将因大量发热而有显著烧毁风险。因此，提出了新颖的暗硅约束以在不牺牲精度的情况下减少热耗散。类似地，已采用不同算法来设计兼容神经网络、激活函数、卷积神经网络与生成对抗网络快速性能的DSP处理器。本综述阐述了用于加速深度学习网络高效实现且性能增强的硬件近期进展。本综述所调研的技术有望指引面向高性能计算的硬件优化未来研究挑战。
引用
@article{arxiv.2107.00092,
title = {From DNNs to GANs: Review of efficient hardware architectures for deep learning},
author = {Gaurab Bhattacharya},
journal= {arXiv preprint arXiv:2107.00092},
year = {2021}
}