低资源机器翻译中子词正则化模型的单模型集成
计算与语言
2022-03-28 v1
摘要
子词正则化在训练期间使用多种子词分割以提升神经机器翻译模型的鲁棒性。在以往的子词正则化中，我们在训练过程中使用多种分割，但在推理时仅使用一种分割。在本研究中，我们提出一种推理策略以解决这一不一致性。所提策略通过使用包含最可能分割与若干采样分割的多种分割来近似边缘似然。由于该策略聚合了来自若干分割的预测，我们可将其视为一种无需任何额外训练成本的单模型集成。实验结果表明，所提策略提升了在低资源机器翻译任务中子词正则化训练模型的性能。
引用
@article{arxiv.2203.13528,
title = {Single Model Ensemble for Subword Regularized Models in Low-Resource Machine Translation},
author = {Sho Takase and Tatsuya Hiraoka and Naoaki Okazaki},
journal= {arXiv preprint arXiv:2203.13528},
year = {2022}
}
备注
Findings of ACL 2022