巴斯克-西班牙语代码切换的自然来源语料库
计算与语言
2025-02-06 v1 人工智能
摘要
代码切换(CS)在自然语言处理(NLP)中仍是一个重要挑战，主要是由于缺乏相关数据。在西班牙半岛北部巴斯克语和西班牙语之间的接触情境中，CS频繁发生于正式和非正式的自发交互中。然而，几乎不存在用于分析这一现象并支持开发和评估能够理解和生成代码切换语言的模型的资源。我们提出了第一个发展巴斯克-西班牙语代码切换自然来源语料库的方法。我们的 methodology 包括使用语言识别模型从已有的语料库中识别CS文本，然后进行人工验证以获得可靠的CS实例子集。我们呈现我们的语料库的属性，并以Euska\~nolDS名称向公众提供。
引用
@article{arxiv.2502.03188,
title = {Euska\~nolDS: A Naturally Sourced Corpus for Basque-Spanish Code-Switching},
author = {Maite Heredia and Jeremy Barnes and Aitor Soroa},
journal= {arXiv preprint arXiv:2502.03188},
year = {2025}
}