SurreyAI 团队在 WMT23 质量估计共享任务中的提交系统
计算与语言
2023-12-04 v1 人工智能
摘要
质量估计（QE）系统在需要评估翻译质量但无参考译文可用的情形下十分重要。本文描述了 SurreyAI 团队针对 WMT23 中句子级直接评估共享任务所采用的方法。所提出的方法基于 TransQuest 框架，在 MonoTransQuest 架构中利用多种自编码器预训练语言模型，采用单模型与集成设置进行探索。所提系统中使用的自编码器预训练语言模型为 XLMV、InfoXLM-large 和 XLMR-large。评估采用 Spearman 与 Pearson 相关系数，考察机器预测质量分数与人工判断之间的关系，涉及 5 个语言对（英语-古吉拉特语、英语-印地语、英语-马拉地语、英语-泰米尔语和英语-泰卢固语）。MonoTQ-InfoXLM-large 方法展现出一种稳健策略，在多数语言对上显著优于基线，超越了本研究提出的所有其他独立模型。
引用
@article{arxiv.2312.00525,
title = {SurreyAI 2023 Submission for the Quality Estimation Shared Task},
author = {Archchana Sindhujan and Diptesh Kanojia and Constantin Orasan and Tharindu Ranasinghe},
journal= {arXiv preprint arXiv:2312.00525},
year = {2023}
}