构建用于端到端回复选择的序列推理模型
计算与语言
2019-01-08 v1
摘要
本文针对第 7 届对话系统技术挑战赛(DSTC7)Track 1 提出了一个端到端回复选择模型。该任务聚焦于在给定部分对话时从候选集中选择正确下一话语。我们为此任务提出了一种基于增强序列推理模型(ESIM)的端到端神经网络。我们所提模型与原始 ESIM 模型在以下四方面不同。第一，采用一种新的词表示方法，将通用预训练词嵌入与在任务特定训练集上估计的嵌入相结合，以应对集外词(OOV)挑战。第二，设计了一个注意力层次循环编码器(AHRE)，能够分层编码句子并通过聚合生成更具描述性的表示。第三，使用了一种结合多维池化与末态池化的新池化方法，替代原始 ESIM 中最大池化与平均池化的简单组合。最后，在 softmax 层前添加了一个修正层，以强调上下文中最后一句话语对回复选择的重要性。在 DSTC7 发布的评估结果中，我们所提方法在 subtask 1 of Track 1 的 Ubuntu 数据集上排名第二，在 Advising 数据集上排名第三。
引用
@article{arxiv.1812.00686,
title = {Building Sequential Inference Models for End-to-End Response Selection},
author = {Jia-Chen Gu and Zhen-Hua Ling and Yu-Ping Ruan and Quan Liu},
journal= {arXiv preprint arXiv:1812.00686},
year = {2019}
}
备注
Accepted by AAAI 2019, Workshop on DSTC7