Omotic语言的双语词级语言识别
计算与语言
2025-09-11 v1 人工智能
摘要
语言识别是确定给定文本所属语言的任务。在许多实际场景中，文本可能包含多种语言，尤其是在多语言社区中更为常见。双语语言识别（Bilingual Language Identification, BLID）是识别和区分给定文本中两种语言的任务。本文针对埃塞俱比亚南部语言——瓦莱塔语（Wolaita）和哥佩语（Gofa）进行BLID研究。这两种语言之间存在词汇相似性与差异性，使语言识别任务具有挑战性。为此，我们采用多种实验方法进行探索。最终，BERT基于预训练语言模型与LSTM方法组合效果最佳，在测试集上获得0.72的F1分数。该工作将有效应对不当的社交媒体问题，为该领域进一步研究奠定了基础。
引用
@article{arxiv.2509.07998,
title = {Bilingual Word Level Language Identification for Omotic Languages},
author = {Mesay Gemeda Yigezu and Girma Yohannis Bade and Atnafu Lambebo Tonja and Olga Kolesnikova and Grigori Sidorov and Alexander Gelbukh},
journal= {arXiv preprint arXiv:2509.07998},
year = {2025}
}