非自回归神经对话生成

最大互信息（MMI）对响应（$y$）与上下文（$x$）之间的双向依赖关系，即前向概率 $\log p(y|x)$ 与后向概率 $\log p(x|y)$ 进行建模，已被广泛用作 \sts 模型中的目标函数，以解决开放域对话生成中的平淡回复问题。遗憾的是，在 \sts 模型框架下，直接从 $\log p(y|x) + \log p(x|y)$ 解码是不可行的，因为第二部分（即 $p(x|y)$）需要目标生成完成后才能计算，且 $y$ 的搜索空间巨大。经验上，先给定 $p(y|x)$ 生成 N-best 列表，再用 $p(x|y)$ 对 N-best 列表重排序，这不可避免地导致非全局最优解。本文提出使用非自回归（non-AR）生成模型来解决该非全局最优问题。由于在 non-AR 生成中目标词元独立生成，$p(x|y)$ 对每个目标词可在其生成后立即计算，而不必等待整个序列完成。这自然解决了解码中的非全局最优问题。实验结果表明，所提出的 non-AR 策略产生了更多样、连贯且恰当的回复，在 BLEU 分数与人工评价上均取得实质性提升。