语码转换语言识别比你想象的更难
计算与语言
2024-02-05 v1
摘要
语码转换(CS)是书面和口头交流中非常普遍的现象，但许多自然语言处理应用对此处理不佳。着眼于构建CS语料库的应用，我们探索了用于语料库构建的CS语言识别(LID)。我们通过将其扩展到更多语言并考虑具有更简单架构的模型以实现更快的推理，使任务更加现实。我们还将该任务重新表述为句子级多标签标注问题，使其更易处理。在定义任务后，我们研究了三种合理的模型，并定义了更能反映期望性能的度量标准。我们提供了实证证据，表明目前没有一种方法是足够的，并最后为未来该领域的工作提出了建议。
引用
@article{arxiv.2402.01505,
title = {Code-Switched Language Identification is Harder Than You Think},
author = {Laurie Burchell and Alexandra Birch and Robert P. Thompson and Kenneth Heafield},
journal= {arXiv preprint arXiv:2402.01505},
year = {2024}
}
备注
EACL 2024