GNCformer：增强自注意力机制用于自动语音识别
声音
2023-05-23 v1 计算与语言
音频与语音处理
摘要
本文提出了一种用于鲁棒特征提取的增强自注意力（Enhanced Self-Attention, ESA）机制。所提出的ESA与递归门控卷积和自注意力机制相融合。具体而言，前者用于捕获多阶特征交互，后者用于全局特征提取。此外，适合插入ESA的兴趣位置也值得探索。本文将ESA嵌入用于自动语音识别（ASR）任务的Transformer网络编码器层中，并将这一新提出的模型命名为GNCformer。GNCformer的有效性已使用Aishell-1和HKUST两个数据集进行了验证。实验结果表明，与Transformer网络相比，在上述两个数据集上分别实现了0.8% CER和1.2% CER的提升。值得一提的是，我们所提出的GNCformer仅引入了1.4M的额外参数。
引用
@article{arxiv.2305.12755,
title = {GNCformer Enhanced Self-attention for Automatic Speech Recognition},
author = {J. Li and Z. Duan and S. Li and X. Yu and G. Yang},
journal= {arXiv preprint arXiv:2305.12755},
year = {2023}
}
备注
5 pages,3 figures,