一种用于机器翻译质量自动评估的BERTScore计算新方法
计算与语言
2022-04-01 v4 人工智能
摘要
本研究考察了BERTScore度量在英译俄句子级翻译质量评估中的适用性。实验使用了预训练的多语言BERT以及一对单语BERT模型。为对齐单语嵌入，采用了基于锚定词元的正交变换。结果表明，此种变换有助于避免不匹配问题，并且该方法优于使用多语言模型的嵌入。为改进词元匹配过程，提出将所有不完整的WordPiece词元合并为有意义的词并采用对应向量的简单平均，且仅基于锚定词元计算BERTScore。此类修改使我们实现了模型预测与人类判断更好的相关性。除评估机器翻译外，还评估了若干版本的人工翻译，并列举了该方法存在的问题。
引用
@article{arxiv.2203.05598,
title = {A new approach to calculating BERTScore for automatic assessment of translation quality},
author = {A. A. Vetrov and E. A. Gorn},
journal= {arXiv preprint arXiv:2203.05598},
year = {2022}
}
备注
8 pages, 4 figures, minor changes due to typographical errors