基于多智能体强化学习的快速序列生成
计算与语言
2021-01-26 v1 人工智能
计算机视觉与模式识别
多媒体
摘要
自回归序列生成模型在机器翻译和图像描述等领域取得了最先进的性能。这些模型是自回归的，因为它们通过以先前生成的词为条件来生成每个词，这导致推理期间的高延迟。最近，非自回归解码被提出用于机器翻译，通过并行生成所有词来加快推理时间。通常，这些模型使用词级交叉熵损失来独立优化每个词。然而，这样的学习过程未能考虑句子级一致性，从而导致这些非自回归模型的生成质量较差。在本文中，我们提出了一种简单高效的非自回归序列生成（NAG）模型，带有一种新颖的训练范式：反事实批判多智能体学习（CMAL）。CMAL 将 NAG 公式化为一个多智能体强化学习系统，其中目标序列中的元素位置被视为智能体，学习协作以最大化句子级奖励。在 MSCOCO 图像描述基准上，我们的 NAG 方法取得了与最先进自回归模型相当的性能，同时带来了 13.9 倍的解码加速。在 WMT14 EN-DE 机器翻译数据集上，我们的方法比交叉熵训练的基线高出 6.0 个 BLEU 点，同时实现了 17.46 倍的最大解码加速。
引用
@article{arxiv.2101.09698,
title = {Fast Sequence Generation with Multi-Agent Reinforcement Learning},
author = {Longteng Guo and Jing Liu and Xinxin Zhu and Hanqing Lu},
journal= {arXiv preprint arXiv:2101.09698},
year = {2021}
}
备注
arXiv admin note: substantial text overlap with arXiv:2005.04690