通过惩罚低互信息实现多领域神经机器翻译的专门化
计算与语言
2022-10-25 v1 人工智能
摘要
多领域神经机器翻译（NMT）以单一模型训练多个领域。因其能在单一模型中处理多领域而颇具吸引力。理想的多领域 NMT 应同时学习显著的领域特征，然而把握领域特性并非易事。本文我们通过互信息（MI）的视角考察领域特定信息，并提出一种新目标函数，对低 MI 进行惩罚使其升高。我们的方法在现有具竞争力的多领域 NMT 模型中取得了最先进的性能。此外，我们经实验表明，所提目标促使低 MI 升高，从而得到领域专门化的多领域 NMT。
引用
@article{arxiv.2210.12910,
title = {Specializing Multi-domain NMT via Penalizing Low Mutual Information},
author = {Jiyoung Lee and Hantae Kim and Hyunchang Cho and Edward Choi and Cheonbok Park},
journal= {arXiv preprint arXiv:2210.12910},
year = {2022}
}
备注
Accepted in EMNLP 2022