用于基于 CTC 的非自回归机器翻译的非单调隐对齐
计算与语言
2022-10-11 v1
摘要
非自回归翻译（NAT）模型通常使用交叉熵损失进行训练，这迫使模型输出与目标句子逐字对齐，并会严重惩罚词位置的微小偏移。隐对齐模型通过用 CTC 损失对所有单调隐对齐边缘化来放宽显式对齐。然而，它们无法处理非单调对齐，这是不可忽略的，因为机器翻译中通常存在全局词重排。在这项工作中，我们探索用于 NAT 的非单调隐对齐。我们将对齐空间扩展到非单调对齐以允许全局词重排，并进一步考虑所有与目标句子重叠的对齐。我们将对齐非单调地匹配到目标句子，并训练隐对齐模型以最大化非单调匹配的 F1 分数。在主要 WMT 基准上的大量实验表明，我们的方法显著提升了基于 CTC 的模型的翻译性能。我们的最佳模型在 WMT14 En-De 上仅用一次迭代解码即取得 30.06 BLEU，缩小了非自回归与自回归模型之间的差距。
引用
@article{arxiv.2210.03953,
title = {Non-Monotonic Latent Alignments for CTC-Based Non-Autoregressive Machine Translation},
author = {Chenze Shao and Yang Feng},
journal= {arXiv preprint arXiv:2210.03953},
year = {2022}
}
备注
NeurIPS 2022