移动设备上的流式关键词 spotting
音频与语音处理
2020-10-29 v2 声音
摘要
本工作中，我们探究了手机上流式与非流式模式下关键词 spotting（KWS）模型的延迟与精度。将 NN 模型从非流式模式（模型接收整个输入序列后返回分类结果）转换为流式模式（模型接收部分输入序列并增量分类）可能需要手动重写模型。我们通过设计一个基于 Tensorflow/Keras 的库来解决此问题，该库能以最小代价自动将非流式模型转换为流式模型。利用该库，我们在手机上对多种 KWS 模型于流式与非流式模式下进行基准测试，并展示了延迟与精度间的不同权衡。我们还探索了具有多头注意力机制的新颖 KWS 模型，其在 Google 语音命令数据集 V2 上将分类错误率较最先进水平降低了 10%。该流式库及所有实验均已开源。
引用
@article{arxiv.2005.06720,
title = {Streaming keyword spotting on mobile devices},
author = {Oleg Rybakov and Natasha Kononenko and Niranjan Subrahmanya and Mirko Visontai and Stella Laurenzo},
journal= {arXiv preprint arXiv:2005.06720},
year = {2020}
}