摊销式噪声信道神经机器翻译
计算与语言
2022-07-19 v2 机器学习
摘要
噪声信道模型在神经机器翻译（NMT）中尤为有效。然而，近期如“束搜索重排序”（BSR）等方法在推理时带来显著的计算开销，使得实际部署难以实现。我们旨在研究是否能构建一种摊销式噪声信道 NMT 模型，使得在推理时进行贪心解码时，其翻译准确度在奖励（基于源到目标对数概率与目标到源对数概率）和质量（基于 BLEU 和 BLEURT）上均与 BSR 相当。我们尝试了三种训练新模型的方法：知识蒸馏、单步偏离模仿学习和 Q learning。第一种方法从伪语料中获取噪声信道信号，后两种方法旨在直接优化噪声信道 MT 奖励。对于这三种方法，生成的翻译均未能达到与 BSR 相当的奖励，但由 BLEU 和 BLEURT 近似的翻译质量与 BSR 生成的翻译质量相近。此外，这三种方法均将推理速度提升了 1-2 个数量级。
引用
@article{arxiv.2112.08670,
title = {Amortized Noisy Channel Neural Machine Translation},
author = {Richard Yuanzhe Pang and He He and Kyunghyun Cho},
journal= {arXiv preprint arXiv:2112.08670},
year = {2022}
}
备注
INLG 2022