质量确实重要：对网络挖掘平行语料库质量和实用性的详细审视
计算与语言
2024-06-17 v3
摘要
我们对两种低资源语言（构成三个语言对：英语-僧伽罗语、英语-泰米尔语和僧伽罗语-泰米尔语）的网络挖掘语料库的质量进行了详细分析。我们根据相似度度量对每个语料库进行排序，并对这个排序语料库的不同部分进行了内在和外在评估。我们表明，网络挖掘语料库的不同部分之间存在显著的质量差异，并且质量因语言和数据集而异。我们还表明，对于某些网络挖掘数据集，使用其排名最高的25k部分训练的神经机器翻译（NMT）模型可以与人工策划的数据集相媲美。
引用
@article{arxiv.2402.07446,
title = {Quality Does Matter: A Detailed Look at the Quality and Utility of Web-Mined Parallel Corpora},
author = {Surangika Ranathunga and Nisansa de Silva and Menan Velayuthan and Aloka Fernando and Charitha Rathnayake},
journal= {arXiv preprint arXiv:2402.07446},
year = {2024}
}