xCOMET-lite：在学习型机器翻译评估指标的效率与质量之间搭建桥梁
计算与语言
2024-11-11 v2
摘要
类 xCOMET 等 state-of-the-art 可训练机器翻译评估指标实现了高相关性，但依赖大型编码器（最高达 10.7B 参数），导致计算成本高昂且难以访问。为解决此问题，我们研究了在保持质量的同时压缩这些大型编码器中存储的知识的可能性。我们采用蒸馏、量化和修剪技术创建高效的 xCOMET 替代方案，并引入一种新颖的数据收集管道用于高效的黑盒蒸馏。我们的实验表明，通过量化，xCOMET 可压缩最高达三倍且不降低质量。此外，通过蒸馏，我们创建了一个 278M 大小的 xCOMET-lite 指标，其仅使用 xCOMET-XXL 参数的 2.6%，但保留了 92.1% 的质量。更棒的是，它在 WMT22 指标挑战数据集上超越了像 COMET-22 和 BLEURT-20 等强大的小规模指标 6.4%。所有代码、数据集和模型均已在 https://github.com/NL2G/xCOMET-lite 提供。
引用
@article{arxiv.2406.14553,
title = {xCOMET-lite: Bridging the Gap Between Efficiency and Quality in Learned MT Evaluation Metrics},
author = {Daniil Larionov and Mikhail Seleznyov and Vasiliy Viskov and Alexander Panchenko and Steffen Eger},
journal= {arXiv preprint arXiv:2406.14553},
year = {2024}
}
备注
EMNLP 2024 (Main Conference) Camera-Ready Version