BiFSMNv2：将二值神经网络的关键词 spotting 性能推至实网水平
计算与语言
2023-02-07 v2
摘要
深度神经网络（如 Deep-FSMN）已被广泛研究用于关键词 spotting（KWS）应用，但存在计算与存储开销昂贵的问题。因此，人们研究二值化等网络压缩技术以在边缘端部署 KWS 模型。本文提出一种强大且高效的 KWS 二值神经网络 BiFSMNv2，将其准确率推至实网精度水平。首先，我们提出双尺度可瘦身的 1-bit 架构，通过双尺度激活二值化恢复二值化计算单元的表征能力，并从整体架构角度释放加速潜力。其次，我们构建了面向 KWS 二值化感知训练的频率无关蒸馏方案，该方案独立蒸馏高频与低频分量，以缓解全精度与二值化表征之间的信息失配。此外，我们提出学习型传播二值化器，一种通用且高效的二值化器，可通过学习使二值 KWS 网络的前向与反向传播持续改进。我们利用新提出的快速按位计算内核在 ARMv8 真实硬件上实现并部署了 BiFSMNv2，该内核可充分利用寄存器并提升指令吞吐。综合实验表明，我们的 BiFSMNv2 在不同数据集上以显著优势超越现有二值网络，并取得与全精度网络相当的准确率（在 Speech Commands V1-12 上仅下降微小的 1.51%）。我们强调，得益于紧凑架构与优化硬件内核，BiFSMNv2 在边缘硬件上可实现令人印象深刻的 25.1 倍加速与 20.2 倍存储节省。
引用
@article{arxiv.2211.06987,
title = {BiFSMNv2: Pushing Binary Neural Networks for Keyword Spotting to Real-Network Performance},
author = {Haotong Qin and Xudong Ma and Yifu Ding and Xiaoyang Li and Yang Zhang and Zejun Ma and Jiakai Wang and Jie Luo and Xianglong Liu},
journal= {arXiv preprint arXiv:2211.06987},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2202.06483