GlotScript：一种面向低资源文字系统识别的资源与工具
计算与语言
2024-03-28 v2
摘要
我们呈现GlotScript，一种用于低资源文字系统识别的开放资源与工具。GlotScript-R是一个为超过7,000种语言提供已证实文字系统的资源，它通过聚合现有文字系统资源的信息编制而成。GlotScript-T是一个覆盖全部161种Unicode 15.0文字的文字系统识别工具。对于输入文本，它返回其文字分布，其中文字由ISO 15924代码标识。我们还展示了GlotScript的两个用例。首先，我们证明GlotScript可帮助清洗多语言语料库如mC4和OSCAR。其次，我们使用GlotScript分析若干语言模型（如GPT-4）的分词情况，并就各语言模型对低资源文字与语言的覆盖提供见解。我们希望GlotScript能成为NLP社区中低资源语言研究的有用资源。GlotScript-R与GlotScript-T可在https://github.com/cisnlp/GlotScript获取。
引用
@article{arxiv.2309.13320,
title = {GlotScript: A Resource and Tool for Low Resource Writing System Identification},
author = {Amir Hossein Kargaran and François Yvon and Hinrich Schütze},
journal= {arXiv preprint arXiv:2309.13320},
year = {2024}
}
备注
LREC-COLING 2024