中文

Translation Canvas:用于定位与分析翻译系统的可解释界面

计算与语言 2024-10-22 v3

摘要

随着机器翻译研究的快速发展,评估工具箱已成为衡量系统进展的 essential 工具。像 COMET 和 SacreBLEU 这样的工具提供单一的质量评分评估,在对照系统间的差异时有效,但这些工具在进行细粒度的系统级比较以及实例级缺陷分析方面提供的见解有限。为此,我们引入 Translation Canvas,一个用于定位和分析翻译系统表现的可解释界面:1) Translation Canvas 帮助机器翻译研究人员通过识别常见错误(其频率和严重程度)以及基于各种评估指标分析不同系统之间的关系来理解系统级模型表现。2) 它支持细粒度分析,通过突出显示具有解释的错误片段并有选择地显示系统预测。根据人类评估,Translation Canvas 在可享受性和可理解性标准下表现优于 COMET 和 SacreBLEU 软件包。

关键词

引用

@article{arxiv.2410.10861,
  title  = {Translation Canvas: An Explainable Interface to Pinpoint and Analyze Translation Systems},
  author = {Chinmay Dandekar and Wenda Xu and Xi Xu and Siqi Ouyang and Lei Li},
  journal= {arXiv preprint arXiv:2410.10861},
  year   = {2024}
}

备注

7 pages, 3 figures