非自回归机器翻译中句法多模态性的研究
偏微分方程分析
2024-06-07 v2 代数拓扑
泛函分析
摘要
由于条件独立假设,非自回归翻译(NAT)模型难以捕捉目标翻译的多模态分布,即所谓的“多模态问题”,包括词汇多模态和句法多模态。前者已被充分研究,而句法多模态给 NAT 中的标准交叉熵(XE)损失带来严峻挑战且研究不足。本文对句法多模态问题进行了系统研究。具体地,我们将其分解为短程和长程句法多模态,并在精心设计的合成数据集和真实数据集上评估几种具有先进损失函数的近期 NAT 算法。我们发现连接主义时序分类(CTC)损失和顺序无关交叉熵(OAXE)损失分别能更好地处理短程和长程句法多模态。此外,我们取两者之长设计了一种新损失函数,以更好地处理真实数据集中的复杂句法多模态。为便于实际使用,我们提供了针对不同句法多模态使用不同损失函数的指南。
引用
@article{arxiv.2207.04207,
title = {Quantitative estimates for fractional Sobolev mappings in rational homotopy groups},
author = {Woongbae Park and Armin Schikorra},
journal= {arXiv preprint arXiv:2207.04207},
year = {2024}
}