用于端到端口语理解的低比特移位网络
声音
2022-07-18 v1 机器学习
音频与语音处理
摘要
深度神经网络（DNN）已在多个领域取得令人瞩目的成功。多年来，随着更深更复杂架构的激增，这些模型的准确率得以提升。因此，最先进的解决方案通常计算代价高昂，使其难以部署在边缘计算平台上。为缓解推断卷积神经网络（CNNs）的高计算、内存与功耗需求，我们提出使用 2 的幂量化，将连续参数量化为低比特 2 的幂值。这通过移除昂贵的乘法操作并使用低比特权重降低了计算复杂度。我们采用 ResNet 作为解决方案的基本模块，并在口语理解（SLU）任务上评估所提模型。实验结果显示移位神经网络架构性能提升，我们的低比特量化在测试集上达到 98.76%，与其全精度对应模型和最优（SOTA）解决方案性能相当。
引用
@article{arxiv.2207.07497,
title = {Low-bit Shift Network for End-to-End Spoken Language Understanding},
author = {Anderson R. Avila and Khalil Bibi and Rui Heng Yang and Xinlin Li and Chao Xing and Xiao Chen},
journal= {arXiv preprint arXiv:2207.07497},
year = {2022}
}
备注
Accepted at INTERSPEECH 2022