面向非自回归翻译的多粒度优化
计算与语言
2022-10-21 v1
摘要
尽管延迟低，非自回归机器翻译（NAT）因朴素的独立性假设而遭受严重的性能退化。该假设被交叉熵损失进一步强化，后者鼓励假设与参考逐词元严格匹配。为缓解此问题，我们提出面向 NAT 的多粒度优化，其收集模型在多种粒度翻译片段上的行为并整合反馈用于反向传播。在四个 WMT 基准上的实验表明，所提方法显著优于用交叉熵损失训练的基线模型，并在 WMT'16 En-Ro 上取得最佳性能，在 WMT'14 En-De 上取得完全非自回归翻译极具竞争力的结果。
引用
@article{arxiv.2210.11017,
title = {Multi-Granularity Optimization for Non-Autoregressive Translation},
author = {Yafu Li and Leyang Cui and Yongjing Yin and Yue Zhang},
journal= {arXiv preprint arXiv:2210.11017},
year = {2022}
}
备注
EMNLP 2022