ReCoSa：利用自注意力检测多轮对话生成中的相关上下文
计算与语言
2019-07-12 v1 机器学习
摘要
在多轮对话生成中，回复通常仅与少数上下文相关。因此，理想的模型应能检测这些相关上下文并据此生成合适回复。然而，广泛使用的层次化循环编码-解码器模型对所有上下文不加区分，这可能损害后续的回复生成过程。一些研究者尝试使用余弦相似度或传统注意力机制来寻找相关上下文，但它们要么受限于不充分的相关性假设，要么存在位置偏差问题。本文提出一个名为 ReCoSa 的新模型来解决该问题。首先，通过词级 LSTM 编码器获得各上下文的初始表示；然后，利用自注意力机制更新上下文与掩码回复的表示；最后，计算各上下文与回复表示之间的注意力权重，并用于后续解码过程。在中文客服数据集与英文 Ubuntu 对话数据集上的实验结果表明，ReCoSa 在基于指标和人工评价两方面均显著优于基线模型。进一步的注意力分析显示，ReCoSa 检测到的相关上下文与人工理解高度一致，验证了 ReCoSa 的正确性与可解释性。
引用
@article{arxiv.1907.05339,
title = {ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation},
author = {Hainan Zhang and Yanyan Lan and Liang Pang and Jiafeng Guo and Xueqi Cheng},
journal= {arXiv preprint arXiv:1907.05339},
year = {2019}
}