超越反馈循环的自回归文本生成
机器学习
2019-09-02 v1 计算与语言
机器学习
摘要
自回归状态转移（即预测以过去的预测为条件）是确定性与随机序列模型的主流选择。然而，自回归反馈使隐状态轨迹的演化暴露于众所周知的训练-测试差异所带来的潜在偏差中。本文将一个隐状态空间模型与 CRF 观测模型相结合。我们认为，此类自回归观测模型构成了一个有趣的中间地带：它在词级别上表达局部相关性，同时保持状态演化的非自回归特性。在无条件句子生成任务上，我们展示了相较于 RNN 与 GAN 基线的性能提升，同时避免了自回归模型的一些典型失败模式。
引用
@article{arxiv.1908.11658,
title = {Autoregressive Text Generation Beyond Feedback Loops},
author = {Florian Schmidt and Stephan Mandt and Thomas Hofmann},
journal= {arXiv preprint arXiv:1908.11658},
year = {2019}
}
备注
emnlp camera ready