用于提升基于检索的开放域对话系统性能的自注意力比较模块
计算与语言
2020-12-22 v1
摘要
随着预训练语言模型的广泛应用，基于检索的开放域对话系统近来引起了研究人员的相当关注。多数先前工作仅依据查询与各个候选回复之间的匹配程度来选择合适的回复。尽管已取得良好性能，这些近期工作忽略了候选回复之间的比较，而该比较可为选择最合适回复提供丰富信息。直观上，当模型能获取所有候选回复间的比较信息时，可作出更好的决策。为利用候选回复间的比较信息，本文提出一种新颖且可插拔的、用于基于检索的开放域对话系统的自注意力比较模块，称为 SCM。大量实验结果表明，我们提出的自注意力比较模块有效提升了现有基于检索的开放域对话系统的性能。此外，我们已公开发布源代码以供未来研究。
引用
@article{arxiv.2012.11357,
title = {Self-attention Comparison Module for Boosting Performance on Retrieval-based Open-Domain Dialog Systems},
author = {Tian Lan and Xian-Ling Mao and Zhipeng Zhao and Wei Wei and Heyan Huang},
journal= {arXiv preprint arXiv:2012.11357},
year = {2020}
}