多分辨率循环神经网络：在对话响应生成中的应用

我们引入多分辨率循环神经网络，将序列到序列框架扩展为将自然语言生成建模为两个并行的离散随机过程：高层粗粒度令牌序列和自然语言令牌序列。有许多方法可以估计或学习高层粗粒度令牌，但我们认为简单的提取过程足以捕获丰富的高层语篇语义。这样的过程允许通过最大化两个序列上的精确联合对数似然来训练多分辨率循环神经网络。与关于自然语言令牌（词困惑度）的标准对数似然目标相反，优化联合对数似然使模型偏向于建模高层抽象。我们将提出的模型应用于两个具有挑战性领域的对话响应生成任务：Ubuntu技术支持域和Twitter对话。在Ubuntu上，该模型以显著优势优于竞争方法，根据自动评估指标和人工评估研究均达到了最先进结果。在Twitter上，根据自动评估指标，该模型似乎生成了更相关和更贴合主题的响应。最后，我们的实验表明，所提出的模型更善于克服自然语言的稀疏性，并且能够更好地捕获长期结构。