日耳曼语系低资源语言与方言语料库综述
计算与语言
2023-04-20 v1
摘要
尽管近年来取得了诸多进展，自然语言处理(NLP)中的绝大多数工作仍集中于具有大量使用者的标准语言。在本工作中，我们转而关注低资源语言，特别是非标准化的低资源语言。即便在常被认为研究充分的主要语系分支中，人们对于这些语言变体可用资源的规模与类型，以及其主要NLP挑战仍知之甚少。解决这一问题的第一步是对可用语料库（最重要的是标注语料库，其对NLP研究尤为宝贵）进行系统调查。聚焦于日耳曼语系低资源语言变体，我们在本文中提供了这样一项调查。除地理定位（说话者或文档来源）外，我们发现人工标注的语言资源十分匮乏，且即便存在，也大多覆盖形态句法。尽管资源匮乏，我们观察到该领域的关注度正在上升：有积极的开发活动和日益增长的研究群体。为促进研究，我们将涵盖80余个语料库的概览公开可用。我们在 https://github.com/mainlp/germanic-lrl-corpora 分享了该概览的配套网站。
引用
@article{arxiv.2304.09805,
title = {A Survey of Corpora for Germanic Low-Resource Languages and Dialects},
author = {Verena Blaschke and Hinrich Schütze and Barbara Plank},
journal= {arXiv preprint arXiv:2304.09805},
year = {2023}
}
备注
NoDaLiDa 2023