WMT 2024 共享任务上的发现：聊天翻译
计算与语言
2024-10-16 v1
摘要
本文介绍了第三届聊天翻译共享任务的成果。与前几届相同，此次任务涉及翻译双语客户支持对话，特别关注对话上下文对翻译质量和评估的影响。我们还包括两个新的语言对：英-韩语和英-荷语，除此之外还保留了前几届的语言对：英-德语、英-法语和英-巴西葡萄牙语。我们收到了来自八支队伍提交的22个主要提交和32个对比提交，其中每个语言对至少有三支队伍的参与。我们综合使用了自动度量和人类判断，通过直接评估框架进行评估。根据人类评估得分，考虑翻译两个方向（agent 和 customer）的性能，确定了每个语言对的官方排名。我们的分析显示，虽然系统在翻译单个回合方面表现出色，但在整体对话级别的翻译质量方面仍有提升空间。
引用
@article{arxiv.2410.11624,
title = {Findings of the WMT 2024 Shared Task on Chat Translation},
author = {Wafaa Mohammed and Sweta Agrawal and M. Amin Farajian and Vera Cabarrão and Bryan Eikema and Ana C. Farinha and José G. C. de Souza},
journal= {arXiv preprint arXiv:2410.11624},
year = {2024}
}
备注
12 pages, 5 figures, 13 tables