学习紧凑的机器翻译评测指标
计算与语言
2021-10-14 v1
摘要
机器翻译与多语言文本生成的最新进展使研究者采用诸如 COMET 或 BLEURT 等经训练的度量，其将评估视为回归问题并利用 XLM-RoBERTa 或 mBERT 等多语言预训练模型的表示。然而相关任务的研究表明，这些模型在规模较大时最为高效，而这对评估而言成本高昂且不切实际。我们利用 WMT Metrics Shared Task 的数据，借助最先进的多语言语言模型 RemBERT 探究多语言性与模型容量之间的权衡。我们呈现了一系列实验，表明模型规模确实是跨语言迁移的瓶颈，随后展示了蒸馏如何借助合成数据生成并将知识从单一教师模型迁移至多个在相关语言上训练的学生模型，从而帮助解决该瓶颈。我们的方法相较原始微调带来最高 10.5% 的提升，且仅用 RemBERT 三分之一的参数即达到其 92.6% 的性能。
引用
@article{arxiv.2110.06341,
title = {Learning Compact Metrics for MT},
author = {Amy Pu and Hyung Won Chung and Ankur P. Parikh and Sebastian Gehrmann and Thibault Sellam},
journal= {arXiv preprint arXiv:2110.06341},
year = {2021}
}
备注
Accepted at EMNLP 2021