面向计算与存储高效的二值权重与激活神经网络声学模型
计算与语言
2017-07-05 v2
摘要
神经网络声学模型在过去几年中显著推动了最先进语音识别技术的发展。然而，由于大量的矩阵-向量乘法与非线性运算，它们通常计算开销高昂。同时，神经网络模型因模型尺寸庞大，在推理时也需要大量内存。基于这两点原因，在嵌入式设备等资源受限平台上部署基于神经网络的语音识别器颇具挑战。本文研究了使用二值权重与激活来构建计算与存储高效的神经网络声学模型。与实值权重矩阵相比，二值权重所需的存储位数大大减少，从而降低了内存占用。此外，采用二值权重或激活后，矩阵-向量乘法转变为加法与减法运算，这在硬件平台上计算速度更快且能效更高。本文中，我们研究了二值权重与激活在神经网络声学建模中的应用，并在 WSJ 和 AMI 语料库上报告了令人鼓舞的结果。
引用
@article{arxiv.1706.09453,
title = {Toward Computation and Memory Efficient Neural Network Acoustic Models with Binary Weights and Activations},
author = {Liang Lu},
journal= {arXiv preprint arXiv:1706.09453},
year = {2017}
}
备注
7 pages, 3 figures