无注意力机制的关键词识别
机器学习
2022-04-12 v3 声音
音频与语音处理
摘要
迄今为止，基于注意力的模型在关键词识别问题领域取得了巨大成功。然而，鉴于深度学习的最新进展，一个问题随之而来：自注意力对于识别语音关键词是否真的不可替代？因此，我们探索了将门控MLP——此前在视觉任务中被证明是Transformer的替代方案——用于关键词识别任务。我们提供了一系列高效的基于MLP的关键词识别模型，参数少于50万。我们表明，我们的方法在Google Speech Commands V2-12和V2-35基准测试上取得了具有竞争力的性能，且参数远少于基于自注意力的方法。
引用
@article{arxiv.2110.07749,
title = {Attention-Free Keyword Spotting},
author = {Mashrur M. Morshed and Ahmad Omar Ahsan},
journal= {arXiv preprint arXiv:2110.07749},
year = {2022}
}
备注
5 pages: Accepted at PML4DC workshop in ICLR 2022