一种基于注意力的神经网络用于语码转换检测:英语与罗马化乌尔都语
计算与语言
2021-03-04 v1 人工智能
摘要
语码转换在具有不同语言背景的人群中是一种常见现象,并广泛用于在互联网上进行交流。在本文中,我们提出了一种结合注意力模型的循环神经网络,用于英语和低资源罗马化乌尔都语中语码转换数据的语言识别。注意力模型使该架构能够学习语言的重要特征,从而分类语码转换数据。我们通过将结果与时下最优模型即隐马尔可夫模型、条件随机场和双向 LSTM 进行比较来展示我们的方法。使用混淆矩阵度量对模型进行评估,表明注意力机制相比其他模型提高了精确率和准确率。
引用
@article{arxiv.2103.02252,
title = {An Attention Based Neural Network for Code Switching Detection: English & Roman Urdu},
author = {Aizaz Hussain and Muhammad Umair Arshad},
journal= {arXiv preprint arXiv:2103.02252},
year = {2021}
}