Bi-SimCut：一种提升神经机器翻译性能的简易策略
计算与语言
2022-07-28 v2 机器学习
摘要
我们提出 Bi-SimCut：一种简单而有效的训练策略，用于提升神经机器翻译（NMT）性能。其包含双向预训练与单向微调两个过程。两过程均利用 SimCut，一种简单的正则化方法，强制原始与截断句对输出分布之间的一致性。在不借助回译获取额外数据集或集成大规模预训练模型的情况下，Bi-SimCut 在五个翻译基准（数据规模从 160K 到 20.2M 不等）上取得强劲翻译性能：在 IWSLT14 数据集上英到德 BLEU 为 31.16、德到英为 38.37，在 WMT14 数据集上英到德为 30.78、德到英为 35.15，在 WMT17 数据集上中到英为 27.17。SimCut 并非新方法，而是 Cutoff（Shen 等，2020）的简化并适配于 NMT 的版本，可视为一种基于扰动的方法。鉴于 SimCut 与 Bi-SimCut 的通用性与简洁性，我们相信它们可作为未来 NMT 研究的强基线。
引用
@article{arxiv.2206.02368,
title = {Bi-SimCut: A Simple Strategy for Boosting Neural Machine Translation},
author = {Pengzhi Gao and Zhongjun He and Hua Wu and Haifeng Wang},
journal= {arXiv preprint arXiv:2206.02368},
year = {2022}
}
备注
NAACL 2022 main conference