序列模型的快速结构化解码
机器学习
2020-01-10 v2 计算与语言
机器学习
摘要
自回归序列模型在机器翻译等领域取得最先进性能。然而，由于自回归分解特性，这些模型在推理时存在严重延迟。近来，为减少推理时间提出了非自回归序列模型。但这些模型假设每个词的解码过程条件独立于其他词。此种生成过程有时使输出句子不一致，因而学到的非自回归模型精度逊于其自回归对应模型。为同时改善解码一致性与降低推理代价，我们提出将结构化推断模块嵌入非自回归模型中。具体地，我们为非自回归序列模型设计了条件随机场（CRF）的高效近似，并进一步提出动态转移技术以建模 CRF 中的位置上下文。机器翻译实验表明，在仅增加少许延迟（8~14ms）的同时，我们的模型在不同翻译数据集上显著优于先前非自回归模型。特别是在 WMT14 En-De 数据集上，我们的模型取得 26.80 的 BLEU 分数，大幅超越先前非自回归基线，且仅比纯自回归模型低 0.61 BLEU。
引用
@article{arxiv.1910.11555,
title = {Fast Structured Decoding for Sequence Models},
author = {Zhiqing Sun and Zhuohan Li and Haoqing Wang and Zi Lin and Di He and Zhi-Hong Deng},
journal= {arXiv preprint arXiv:1910.11555},
year = {2020}
}
备注
Accepted to NeurIPS 2019 (Previous title: Structured Decoding for Non-Autoregressive Machine Translation)