PALI：面向波斯-阿拉伯文字的语言识别基准
计算与语言
2023-04-05 v1
摘要
波斯-阿拉伯文字是一族被全球各地语言社群广泛采用和使用的文字。使用此类文字识别多种语言对语言技术至关重要，且在低资源环境下具有挑战性。因此，本文阐明了使用波斯-阿拉伯文字检测语言的挑战，特别是在实践“非传统”书写的双语社群中。为此，我们使用一组监督技术将句子分类到其所属语言。在此基础上，我们还提出了一种层次化模型，针对分类器更易混淆的语言簇。我们的实验结果表明了我们所提方案的有效性。
引用
@article{arxiv.2304.01322,
title = {PALI: A Language Identification Benchmark for Perso-Arabic Scripts},
author = {Sina Ahmadi and Milind Agarwal and Antonios Anastasopoulos},
journal= {arXiv preprint arXiv:2304.01322},
year = {2023}
}
备注
13 pages - accepted at VarDial at EACL 2023