GEMBA-MQM: 利用 GPT-4 检测翻译质量错误跨度
计算与语言
2023-10-24 v1
摘要
本文介绍 GEMBA-MQM,一种基于 GPT 的评估指标,旨在检测翻译质量错误,特别用于无需人工参考译文的质量估计场景。借助大语言模型(LLM)的能力,GEMBA-MQM 采用固定的三样本提示技术,查询 GPT-4 模型以标注错误质量跨度。与先前工作相比,我们的方法具有语言无关的提示,从而避免了为新语言手动准备提示的需要。尽管初步结果表明 GEMBA-MQM 在系统排序上达到了最先进的准确率,我们建议在与基于专有黑盒 GPT 模型的其它方法比较改进时,于学术工作中使用须谨慎。
引用
@article{arxiv.2310.13988,
title = {GEMBA-MQM: Detecting Translation Quality Error Spans with GPT-4},
author = {Tom Kocmi and Christian Federmann},
journal= {arXiv preprint arXiv:2310.13988},
year = {2023}
}
备注
Accepted to WMT 2023