基于LLM的低资源机器翻译评估：无参考方言引导的修正性丹地西-英基准
计算与语言
2025-05-20 v1
摘要
为低资源语言进行机器翻译（MT）评估仍是一个持久挑战，主要由于高质量参考翻译的稀缺。这种问题在语言拥有多个方言时尤为突出，方言多样性和数据稀缺阻碍了稳健的评估。大型语言模型（LLM）通过无参考评估技术提供了有前景的解决方案；但在缺乏方言特定上下文和针对性指导时，其有效性会下降。本文提出了综合框架，通过方言引导方法增强LLM-based MT评估。我们扩展ONUBAD数据集，纳入丹地西-英句子对、机器翻译结果以及由母语者标注的直接评估（DA）分数。为解决词汇差距，我们增强了分词器词汇表，纳入方言特定术语。我们进一步引入回归头以实现标量分数预测，设计方言引导（DG）提示策略。我们的评估在多个LLM上显示，所提出的管道在各种评估设置下均显著优于现有方法，最高提升0.1083的斯皮尔曼相关系数，并在其他评估设置上取得改进。该数据集和代码已公开于 https://github.com/180041123-Atiq/MTEonLowResourceLanguage。
引用
@article{arxiv.2505.12273,
title = {LLM-Based Evaluation of Low-Resource Machine Translation: A Reference-less Dialect Guided Approach with a Refined Sylheti-English Benchmark},
author = {Md. Atiqur Rahman and Sabrina Islam and Mushfiqul Haque Omi},
journal= {arXiv preprint arXiv:2505.12273},
year = {2025}
}