面向语言技术的标注 te reo Māori-英语双语数据库构建
计算与语言
2022-08-23 v1
摘要
Te reo Māori（下称 Māori）是新西兰的土著语言，在语言技术方面资源不足。Māori 使用者为双语者，Māori 与英语之间存在语码转换。遗憾的是，可用于 Māori 语言技术、语言检测及 Māori-英语对之间语码转换检测的资源极少。英语与 Māori 均使用源于罗马字母的正字法，使得基于规则的系统在检测和语码转换方面受限。多数 Māori 语言检测由语言专家手动完成。本研究构建了一个含 66,016,807 词、具词级语言标注的 Māori-英语双语数据库。数据库构建使用了新西兰议会 Hansard 辩论报告。语言标签通过语言特定规则与专家人工标注赋值。Māori 与英语中存在拼写相同但意义不同的词。这些词无法依据词级语言规则归类为 Māori 或英语，故人工标注必不可少。我们还报告了分析数据库各方面（如元数据、按年分析、高频词、句长及 N-gram）的结果。此处开发的数据库是未来奥特亚罗瓦新西兰语言与语音技术发展的宝贵工具。标注数据库所循方法亦可为其他低资源语言对参照。
引用
@article{arxiv.2208.09778,
title = {The Development of a Labelled te reo M\=aori-English Bilingual Database for Language Technology},
author = {Jesin James and Isabella Shields and Vithya Yogarajan and Peter J. Keegan and Catherine Watson and Peter-Lucas Jones and Keoni Mahelona},
journal= {arXiv preprint arXiv:2208.09778},
year = {2022}
}
备注
Submitted to Springer Language Resources and Evaluation Journal 2022