基于量化蒸馏的声学事件检测模型压缩
音频与语音处理
2019-07-02 v1 机器学习
声音
摘要
声学事件检测（AED）旨在基于音频信号检测事件的类别，已在许多智能系统中得到应用。近来深度神经网络显著推进了该领域并大幅降低了检测错误。然而如何高效执行 AED 中的深度模型却很少受到关注。同时最先进的 AED 模型基于大型深度模型，其计算需求高且难以部署在计算资源受限的设备上。本文提出一种简单而有效的压缩方法，联合利用知识蒸馏与量化将较大网络（教师模型）压缩为紧凑网络（学生模型）。实验结果表明，所提技术不仅通过蒸馏将原始紧凑网络的错误率降低了 15%，而且通过量化进一步大幅缩减其模型尺寸（为教师的 2%、全精度学生的 12%）。
引用
@article{arxiv.1907.00873,
title = {Compression of Acoustic Event Detection Models With Quantized Distillation},
author = {Bowen Shi and Ming Sun and Chieh-Chi Kao and Viktor Rozgic and Spyros Matsoukas and Chao Wang},
journal= {arXiv preprint arXiv:1907.00873},
year = {2019}
}
备注
Interspeech 2019