FastSpell：语言识别的魔法咒语
计算与语言
2024-04-15 v1
摘要
语言识别是语言资源自动化生产中的关键组件，尤其在多语言与大数据语境下。然而，常用的语言识别器难以区分相似或近缘语言。本文介绍了FastSpell，一种结合了fastText（一种预训练语言识别工具）与Hunspell（一种拼写检查器）的语言识别器，旨在决定将文本归属为哪种语言之前获得一个精细的二次意见。我们提供了FastSpell算法的描述，并说明了如何使用与配置它。为此，我们论证了对此类工具的需求，并提出了一个基准测试，其中包含了在FastSpell开发期间评估的一些流行语言识别器。我们展示了FastSpell不仅有助于改进对相似语言的识别，还能识别被其他工具忽略的新语言。
引用
@article{arxiv.2404.08345,
title = {FastSpell: the LangId Magic Spell},
author = {Marta Bañón and Jaume Zaragoza-Bernabeu and Gema Ramírez-Sánchez and Sergio Ortiz-Rojas},
journal= {arXiv preprint arXiv:2404.08345},
year = {2024}
}