BiFSMN：用于关键词 spotting 的二值神经网络
计算与语言
2022-10-21 v5
摘要
深度神经网络，如 Deep-FSMN，已被广泛研究用于关键词 spotting（KWS）应用。然而，由于这些网络通常在边缘设备上按需运行，其计算资源受到显著限制。本文提出 BiFSMN，一种准确且极高效率的用于 KWS 的二值神经网络。我们首先构建了一种用于二值化感知训练的高频增强蒸馏方案，该方案强调来自全精度网络表示的高频信息，而这对二值化网络的优化更为关键。然后，为了在运行时实现即时且自适应的精度-效率权衡，我们还提出了一种可瘦缩二值化架构，从拓扑角度进一步释放二值化网络的加速潜力。此外，我们在 ARMv8 设备上为 BiFSMN 实现了快速按位计算内核，充分利用寄存器并提高指令吞吐量，以突破部署效率的极限。大量实验表明，BiFSMN 在各种数据集上以显著优势超越现有二值化方法，甚至可与全精度对应模型相媲美（例如，在 Speech Commands V1-12 上下降小于 3%）。我们强调，得益于可瘦缩架构和优化后的 1-bit 实现，BiFSMN 在真实边缘硬件上可实现令人印象深刻的 22.3 倍加速和 15.5 倍存储节省。我们的代码发布于 https://github.com/htqin/BiFSMN。
引用
@article{arxiv.2202.06483,
title = {BiFSMN: Binary Neural Network for Keyword Spotting},
author = {Haotong Qin and Xudong Ma and Yifu Ding and Xiaoyang Li and Yang Zhang and Yao Tian and Zejun Ma and Jie Luo and Xianglong Liu},
journal= {arXiv preprint arXiv:2202.06483},
year = {2022}
}