中位数二值连接方法及用于词识别的二值卷积神经网络
机器学习
2018-11-09 v1 声音
音频与语音处理
摘要
我们提出并研究了一种用于训练二值权值卷积神经网络的新投影公式。该投影公式在 l_1 范数而非标准 l_2 范数下度量用 1-bit 向量近似全精度（32 位）向量的误差。l_1 投影子具有闭式解析形式，并涉及中位数计算而非 l_2 投影子中的算术平均。在 10 个关键词分类上的实验表明，无论冷启动还是热启动，l_1（中位数）二值连接（BC）方法均优于常规 BC。由中位数 BC 和近期混合技术训练的二值网络达到 92.4% 的测试准确率，比全精度网络准确率 93.5% 低 1.1%。在 Android 手机应用中，训练得到的二值网络在口语关键词识别中将全精度网络速度提升一倍。
关键词
引用
@article{arxiv.1811.02784,
title = {Median Binary-Connect Method and a Binary Convolutional Neural Nework for Word Recognition},
author = {Spencer Sheen and Jiancheng Lyu},
journal= {arXiv preprint arXiv:1811.02784},
year = {2018}
}