MQM-Chat：用于聊天翻译的多维质量指标
计算与语言
2025-02-04 v2
摘要
聊天文本的复杂性对机器翻译模型构成重大挑战。为解决聊天翻译评估问题，本研究引入多维质量指标用于聊天翻译（Multidimensional Quality Metrics for Chat Translation，MQM-Chat）。通过对五个模型进行 MQM-Chat 实验，我们发现所有模型都会生成某些基本错误，而每个模型都有不同的短板，如遗漏、过度纠正模糊源内容以及热词问题，导致风格化信息丢失。我们的发现凸显了 MQM-Chat 在评估聊天翻译方面的有效性，强调了针对未来研究在风格化内容和对话一致性方面的重要性。
引用
@article{arxiv.2408.16390,
title = {MQM-Chat: Multidimensional Quality Metrics for Chat Translation},
author = {Yunmeng Li and Jun Suzuki and Makoto Morishita and Kaori Abe and Kentaro Inui},
journal= {arXiv preprint arXiv:2408.16390},
year = {2025}
}