用于关键词 spotting 的小 footprint 可瘦身网络
声音
2023-04-25 v1 机器学习
音频与语音处理
摘要
在本工作中，我们将可瘦身神经网络（Slimmable Neural Networks）应用于小 footprint 关键词 spotting 问题。我们展示了可瘦身神经网络能够让我们从卷积神经网络和 Transformer 构建超网（super-net），并从中提取不同大小的子网络。我们在内部 Alexa 数据和 Google Speech Commands 上证明了这些模型的有效性，并将工作聚焦于面向设备端（on-device）用例的模型，将参数量限制在 25 万以下。我们表明可瘦身模型能够匹配（且在某些情况下超越）从头训练的模型。因此，当需要在不同内存与计算预算以及不同精度要求下复现相同功能时，可瘦身神经网络是一类特别有用的模型。
引用
@article{arxiv.2304.12183,
title = {Small-footprint slimmable networks for keyword spotting},
author = {Zuhaib Akhtar and Mohammad Omar Khursheed and Dongsu Du and Yuzong Liu},
journal= {arXiv preprint arXiv:2304.12183},
year = {2023}
}