理解与缓解零样本翻译中的不确定性
计算与语言
2024-10-22 v2 人工智能
机器学习
摘要
零样本翻译是构建全面的多语言神经机器翻译（MNMT）系统的一个有前景的方向。然而，由于离目标语言（off-target）问题，其质量仍不令人满意。在本文中，我们旨在从零样本翻译中不确定性的角度来理解并缓解离目标问题。通过仔细考察翻译输出与模型置信度，我们识别出导致离目标问题的两种不确定性，即外在数据不确定性与内在模型不确定性。基于这些观察，我们提出两种轻量且互补的方法：对训练数据进行去噪以用于模型训练，并在模型训练期间通过非似然训练（unlikelihood training）显式惩罚离目标翻译。在平衡与不平衡数据集上的大量实验表明，我们的方法相比强大的 MNMT 基线显著提升了零样本翻译的性能。
引用
@article{arxiv.2205.10068,
title = {Understanding and Mitigating the Uncertainty in Zero-Shot Translation},
author = {Wenxuan Wang and Wenxiang Jiao and Shuo Wang and Zhaopeng Tu and Michael R. Lyu},
journal= {arXiv preprint arXiv:2205.10068},
year = {2024}
}
备注
Accepted by The IEEE/ACM Transactions on Audio, Speech, and Language Processing (TASLP)