基于 Transformer 的阿拉伯方言识别
音频与语音处理
2020-11-03 v1
摘要
本文提出一种基于 Transformer 神经网络架构的方言识别（DID）系统。传统的基于卷积神经网络（CNN）的系统使用较短的感知野。我们认为长距离信息对方言和 DID 同样重要，而 Transformer 中的自注意力机制能够捕捉长距离依赖。此外，为降低计算复杂度，采用带下采样的自注意力来处理声学特征。该过程提取稀疏但具信息量的特征。我们的实验结果表明，在阿拉伯方言识别（ADI）数据集上 Transformer 优于基于 CNN 的网络。我们还报告，CNN 与基于 Transformer 的系统在分数级融合在 ADI17 数据库上取得了 86.29% 的总体准确率。
引用
@article{arxiv.2011.00699,
title = {Transformer-based Arabic Dialect Identification},
author = {Wanqiu Lin and Maulik Madhavi and Rohan Kumar Das and Haizhou Li},
journal= {arXiv preprint arXiv:2011.00699},
year = {2020}
}
备注
Accepted for publication in International Conference on Asian Language Processing (IALP) 2020