多标签斯堪的纳维亚语语言识别（SLIDE）
计算与语言
2025-02-11 v1 人工智能
摘要
在句子层面识别 closely related languages 往往 difficult，因为不可能为一个句子分配单个语言。在本文中，我们关注多标签句子层面的斯堪的纳维亚语语言识别（LID），包括丹麦语、挪威波尔马尔语、挪威纳恩斯克语和瑞典语。我们提出了斯堪的纳维亚语语言识别与评估基准（SLIDE），一个 manually curated 的多标签 evaluation 数据集，以及一套具有 varying speed-accuracy tradeoffs 的 LID 模型。我们展示了同时识别多个语言的能力是 any accurate LID method 必不可少的，并提出了一种 novel 的 training 多标签 LID 模型的方法。
引用
@article{arxiv.2502.06692,
title = {Multi-label Scandinavian Language Identification (SLIDE)},
author = {Mariia Fedorova and Jonas Sebulon Frydenberg and Victoria Handford and Victoria Ovedie Chruickshank Langø and Solveig Helene Willoch and Marthe Løken Midtgaard and Yves Scherrer and Petter Mæhlum and David Samuel},
journal= {arXiv preprint arXiv:2502.06692},
year = {2025}
}