面向神经机器翻译的大动作空间强化学习
计算与语言
2022-10-07 v1 人工智能
机器学习
摘要
在最大似然估计（MLE）预训练之后应用强化学习（RL）是一种提升神经机器翻译（NMT）性能的通用方法。然而，近期工作认为 RL 为 NMT 带来的增益主要源于提升预训练中已经获得较高概率的 token。我们假设大动作空间是 RL 在机器翻译中生效的主要障碍，并进行了两组支持该假设的实验。首先，我们发现减小词表规模可提升 RL 的有效性。其次，我们发现在不改变词表的情况下有效降低动作空间维度，也能在 BLEU、语义相似度和人工评估上带来显著提升。事实上，通过用一层对相似动作具有泛化能力的层来初始化网络最终的 fully connected 层（将网络内部维度映射到词表维度），我们获得了 RL 性能的大幅提升：平均 1.5 个 BLEU 点。
引用
@article{arxiv.2210.03053,
title = {Reinforcement Learning with Large Action Spaces for Neural Machine Translation},
author = {Asaf Yehudai and Leshem Choshen and Lior Fox and Omri Abend},
journal= {arXiv preprint arXiv:2210.03053},
year = {2022}
}
备注
Accepted for Coling