用于无条件词生成深度状态空间模型

自回归反馈被认为是以随机序列模型进行成功无条件文本生成的必要条件。然而，已知此类反馈会给训练过程引入系统性偏差，并且它掩盖了一个生成原则：承诺全局信息而遗忘局部细节。我们展示了一种非自回归深度状态空间模型，其具有全局与局部不确定性的清晰分离，且仅由两种成分构成：独立噪声源与确定性转移函数。基于流的变分推断的最新进展可用于训练证据下界，而无需借助退火、辅助损失或类似手段。结果是一个高度可解释的生成模型，在词生成任务上与可比较的自回归模型相当。