FlowSeq：基于生成流的非自回归条件序列生成
计算与语言
2019-10-10 v3 机器学习
摘要
大多数序列到序列（seq2seq）模型是自回归的；它们通过以先前生成的 token 为条件来生成每个 token。相反，非自回归 seq2seq 模型一次性生成所有 token，从而通过在 GPU 等硬件上的并行处理提高效率。然而，直接对所有 token 的联合分布同时建模具有挑战性，且即便采用日益复杂的模型结构，其精度仍显著落后于自回归模型。本文中，我们提出了一种简单、高效且有效的基于潜变量模型的非自回归序列生成模型。具体而言，我们诉诸生成流——一种利用神经网络建模复杂分布的优雅技术——并设计了若干层专为建模序列潜变量条件密度而定制的流。我们在三个神经机器翻译（NMT）基准数据集上评估该模型，取得了与最先进非自回归 NMT 模型相当的性能，以及相对于序列长度近乎恒定的解码时间。
引用
@article{arxiv.1909.02480,
title = {FlowSeq: Non-Autoregressive Conditional Sequence Generation with Generative Flow},
author = {Xuezhe Ma and Chunting Zhou and Xian Li and Graham Neubig and Eduard Hovy},
journal= {arXiv preprint arXiv:1909.02480},
year = {2019}
}
备注
Accepted by EMNLP 2019 (Long Paper)