AfroLID：面向非洲语言的神经语言识别工具

语言识别（LID）是自然语言处理（NLP）的关键前置步骤，尤其对于挖掘网络数据而言。问题在于，当今全球 7000 多种语言中的大多数并未被 LID 技术所覆盖。我们针对非洲这一紧迫问题，推出了 AfroLID，一个面向 $517$ 种非洲语言及变体的神经 LID 工具包。AfroLID 利用从 14 个语系中人工整理的多领域网络数据集，涵盖五种正字法系统。在我们的盲测集上评估时，AfroLID 取得了 95.89 的 F_1 分数。我们还将 AfroLID 与五种现有的、各自仅覆盖少量非洲语言的 LID 工具进行比较，发现其在大多数语言上优于它们。我们通过在极度缺乏服务的 Twitter 领域上进行测试，进一步展示了 AfroLID 在真实场景中的实用性。最后，我们提供若干受控案例研究并进行了基于语言学的错误分析，从而既能展示 AfroLID 强大的能力，也能揭示其局限性。