面向FPGA上记忆增强神经网络的高能效推理加速器
机器学习
2019-02-12 v2 机器学习
摘要
记忆增强神经网络（MANNs）专为问答任务设计。由于在MANNs中需要循环数据通路以及与外部存储器访问相关的多种操作，难以在为其他神经网络（NNs）设计的加速器（尤其在移动设备上）上有效运行MANNs。我们基于数据流架构在FPGA（现场可编程门阵列）上实现了一种MANNs加速器。推理时间还通过推理阈值化得以减少，这是一种专为自然语言任务定制的基于数据的最大内积搜索。在bAbI数据上的测量表明，该加速器的能效（FLOPS/kJ）约为NVIDIA TITAN V GPU的125倍，使用推理阈值化后提升至140倍。
引用
@article{arxiv.1805.07978,
title = {Energy-Efficient Inference Accelerator for Memory-Augmented Neural Networks on an FPGA},
author = {Seongsik Park and Jaehee Jang and Seijoon Kim and Sungroh Yoon},
journal= {arXiv preprint arXiv:1805.07978},
year = {2019}
}
备注
Accepted to DATE 2019