MT-LENS：用于更好机器翻译评估的全能工具包
计算与语言
2024-12-17 v1
摘要
我们介绍MT-LENS，一个旨在评估机器翻译（MT）系统在各种任务上的框架，包括翻译质量、性别偏见检测、附加毒性和对拼写错误的鲁棒性。虽然一些工具包在基准测试大型语言模型（LLM）的能力方面变得非常流行，但现有的评估工具通常缺乏全面评估MT性能不同方面的能力。MT-LENS通过扩展LM-eval-harness用于MT的能力，支持最先进的数据集和广泛的评估指标，解决了这些限制。它还提供了一个用户友好的平台来比较系统和分析翻译，并具有交互式可视化。MT-LENS旨在拓宽对超越传统翻译质量评估的评估策略的访问，使研究人员和工程师能够更好地理解NMT模型的性能，并轻松测量系统的偏见。
引用
@article{arxiv.2412.11615,
title = {MT-LENS: An all-in-one Toolkit for Better Machine Translation Evaluation},
author = {Javier García Gilabert and Carlos Escolano and Audrey Mash and Xixian Liao and Maite Melero},
journal= {arXiv preprint arXiv:2412.11615},
year = {2024}
}
备注
6 pages, 2 figures