潜在对齐能否改进自回归机器翻译？
计算与语言
2021-04-21 v1 人工智能
机器学习
摘要
CTC 与 AXE 等潜在对齐目标显著改进了非自回归机器翻译模型。它们能否也改进自回归模型？我们探索用潜在对齐目标训练自回归机器翻译模型的可能性，并观察到在实践中该方法导致退化的模型。我们为这些经验结果提供理论解释，并证明潜在对齐目标与教师强制不兼容。
引用
@article{arxiv.2104.09554,
title = {Can Latent Alignments Improve Autoregressive Machine Translation?},
author = {Adi Haviv and Lior Vassertail and Omer Levy},
journal= {arXiv preprint arXiv:2104.09554},
year = {2021}
}
备注
Accepted to NAACL 2021