频率与通道注意力网络用于小内存 footprint 噪声环境下的语音关键词检测
音频与语音处理
2024-07-30 v1 声音
摘要
本文旨在提高关键词检测（Keyword Spotting, KWS）系统在噪声环境中的鲁棒性，同时保持小型内存占用。我们提出了一种新的卷积神经网络（CNN），称为 FCA-Net，它结合了基于混合单元的特征交互和基于二维卷积的注意力模块。首先，我们介绍并比较了轻量级注意力方法，以增强 CNN 在噪声环境中的鲁棒性。随后，我们提出的注意力模块创建细粒度的注意力权重，以捕获通道和频率特定的信息，提升模型处理噪声条件的能力。通过将混合单元驱动的特征交互与注意力模块结合，我们增强了性能。此外，我们采用基于课程的多条件训练策略。我们的实验表明，该系统在噪声环境下优于当前小内存 footprint KWS 的最新前沿解决方案，具备实际应用的可靠性。
引用
@article{arxiv.2407.19834,
title = {Frequency & Channel Attention Network for Small Footprint Noisy Spoken Keyword Spotting},
author = {Yuanxi Lin and Yuriy Evgenyevich Gapanyuk},
journal= {arXiv preprint arXiv:2407.19834},
year = {2024}
}
备注
Submitted to the APSIPA ASC 2024