关键词注意力深度语义匹配
计算与语言
2020-03-26 v1
摘要
深度语义匹配是问答（QA）等多种自然语言处理应用中的关键组件，其中输入查询需根据相关性在 QA 语料中与每个候选问题进行比较。在开放域场景下，由于查询-问题对中包含多样的词语标记，衡量二者之间的相似度具有挑战性。我们提出一种关键词注意力方法以改进深度语义匹配。我们首先利用大规模语料中的领域标签生成领域增强的关键词词典。在 BERT 基础上，我们堆叠一个关键词注意力 Transformer 层以突出查询-问题对中关键词的重要性。在模型训练期间，我们提出一种基于输入对之间关键词覆盖度的新负采样方法。我们在中文 QA 语料上使用多种指标（包括检索候选的准确率和语义匹配的准确率）评估了我们的方法。实验表明，我们的方法优于现有的强基线。我们的方法具有通用性，只需少量适配即可应用于其他文本匹配任务。
引用
@article{arxiv.2003.11516,
title = {Keyword-Attentive Deep Semantic Matching},
author = {Changyu Miao and Zhen Cao and Yik-Cheung Tam},
journal= {arXiv preprint arXiv:2003.11516},
year = {2020}
}