基于神经架构搜索与量化的资源高效关键词 spotting 神经网络
音频与语音处理
2020-12-21 v1 机器学习
摘要
本文引入神经架构搜索（NAS）用于在有限资源环境下自动发现用于关键词 spotting（KWS）的小型模型。我们采用可微 NAS 方法来优化卷积神经网络（CNNs）的结构，以在最大化分类准确率的同时最小化每次推理的操作数。仅使用 NAS，我们便获得了一个高效模型，在 Google speech commands 数据集上以 494.8 kB 内存占用和 1960 万次操作实现了 95.4% 的准确率。此外，使用权重量化进一步降低内存消耗。我们展示了将权重量化至低比特宽度（例如 1 bit）可在不造成显著准确率损失的情况下使用。通过将输入特征从 10 个 MFCC 增加到 20 个 MFCC，我们能够在 340.1 kB 内存占用和 2710 万次操作下将准确率提升至 96.3%。
引用
@article{arxiv.2012.10138,
title = {Resource-efficient DNNs for Keyword Spotting using Neural Architecture Search and Quantization},
author = {David Peter and Wolfgang Roth and Franz Pernkopf},
journal= {arXiv preprint arXiv:2012.10138},
year = {2020}
}