FastWave：在FPGA上加速自回归卷积神经网络
音频与语音处理
2020-02-13 v1 机器学习
声音
摘要
自回归卷积神经网络（CNN）已广泛用于音频合成、语言建模和神经机器翻译等序列生成任务。WaveNet 是一种由若干堆叠的扩张卷积层组成的深度自回归 CNN，用于序列生成。尽管 WaveNet 产生了最先进的音频生成结果，但其朴素推理实现相当缓慢；在高端 GPU 上仅生成一秒音频就需要几分钟。在这项工作中，我们开发了首个针对自回归卷积神经网络的加速器平台 \textit{FastWave}，并解决了相关的设计挑战。我们在 Vivado HLS 中设计 Fast-Wavenet 推理模型，并进行了包括定点实现、数组分区和流水线化在内的广泛优化。我们的模型采用全参数化并行架构以实现快速矩阵-向量乘法，从而支持逐层定制延迟微调以进一步提升吞吐量。我们的实验比较评估了各种优化在吞吐量与资源利用率之间的权衡。我们在 Xilinx XCVU13P FPGA 上仅使用片上存储器的最佳 WaveNet 设计，相比 CPU 实现实现了 66 倍更快的生成速度，相比 GPU 实现实现了 11 倍更快的生成速度。
引用
@article{arxiv.2002.04971,
title = {FastWave: Accelerating Autoregressive Convolutional Neural Networks on FPGA},
author = {Shehzeen Hussain and Mojan Javaheripi and Paarth Neekhara and Ryan Kastner and Farinaz Koushanfar},
journal= {arXiv preprint arXiv:2002.04971},
year = {2020}
}
备注
Published as a conference paper at ICCAD 2019