利用层次化上下文表示改进多轮回复选择中的匹配模型
计算与语言
2019-06-05 v2
摘要
本文中，我们研究基于检索的聊天机器人中用于多轮回复选择的、带有预训练上下文表示的上下文-回复匹配。现有模型（如 Cove 和 ELMo）在有限的上下文（通常为单句或段落）上训练，由于多轮对话的层次性、非正式语言以及领域特定词汇，可能无法很好地发挥作用。为应对这些挑战，我们提出通过从大规模对话中以层次化编码器-解码器架构学习对话生成模型，来预训练层次化上下文表示，包括上下文词级和句子级表示。随后，将这两个层次的表示分别融入匹配模型的输入层和输出层。在两个基准对话数据集上的实验结果表明，所提出的层次化上下文表示能够为现有的回复选择匹配模型带来显著且持续的改进。
引用
@article{arxiv.1808.07244,
title = {Improving Matching Models with Hierarchical Contextualized Representations for Multi-turn Response Selection},
author = {Chongyang Tao and Wei Wu and Can Xu and Yansong Feng and Dongyan Zhao and Rui Yan},
journal= {arXiv preprint arXiv:1808.07244},
year = {2019}
}
备注
6 pages, 1 figure