生物医学领域英语-波兰语 LLM 机器翻译的数据过滤技术比较
计算与语言
2025-01-29 v1 机器学习
摘要
大型语言模型 (LLM) 已成为机器翻译 (MT) 的 SOTA，它们通常在从网络抓取的海量双语平行语料库上进行训练，这些语料库包含低质量条目和冗余信息，导致了重大的计算挑战。存在各种数据过滤方法来减少数据集大小，但其有效性在很大程度上因特定语言对和领域而异。本文评估了常用的数据过滤技术（如 LASER、MUSE 和 LaBSE）对生物医学领域内英语-波兰语翻译的影响。通过过滤 UFAL Medical Corpus，我们创建了不同大小的数据集以微调 mBART50 模型，随后在 Khresmoi 数据集上使用 SacreBLEU 指标进行评估，并由双语使用者评估翻译质量。我们的结果表明，LASER 和 MUSE 都能显著减少数据集大小，同时保持甚至提高性能。我们推荐使用 LASER，因为它始终优于其他方法，并提供最流畅、最自然的翻译。
引用
@article{arxiv.2501.16533,
title = {A comparison of data filtering techniques for English-Polish LLM-based machine translation in the biomedical domain},
author = {Jorge del Pozo Lérida and Kamil Kojs and János Máté and Mikołaj Antoni Barański and Christian Hardmeier},
journal= {arXiv preprint arXiv:2501.16533},
year = {2025}
}