TPDM:通过词元级位置解耦模块选择性去除位置信息以实现零样本翻译
计算与语言
2023-06-01 v1
摘要
由于多语言神经机器翻译 (MNMT) 具备零样本翻译能力,许多工作致力于充分挖掘 MNMT 在零样本翻译中的潜力。通常假设位置信息可能阻碍 MNMT 输出用于解码的鲁棒编码表示。然而,以往方法平等对待所有位置信息,因而无法选择性地去除特定位置信息。与此形成鲜明对比,本文研究如何学习选择性保留有用的位置信息。我们从语言学的词元级视角阐述了位置信息影响 MNMT 的具体机制。基于该解释,我们设计了词元级位置解耦模块 (TPDM) 框架,以在词元级解耦位置信息。实验表明,与以往工作相比,我们的框架在大幅改善零样本翻译的同时,减少了监督方向上的性能损失。
引用
@article{arxiv.2305.19857,
title = {TPDM: Selectively Removing Positional Information for Zero-shot Translation via Token-Level Position Disentangle Module},
author = {Xingran Chen and Ge Zhang and Jie Fu},
journal= {arXiv preprint arXiv:2305.19857},
year = {2023}
}