基于无监督知识注入的高效FAQ检索与问题匹配
人工智能
2020-10-28 v1 信息检索
摘要
常见问题（FAQ）检索旨在提供关于频繁问题或关注点的信息，在许多领域具有深远的应用价值，其中可预先编集一组问答（Q-A）对，用于针对用户可能频繁重现的查询检索合适答案。为此，主流的FAQ检索方法通常通过考量查询与问题（q-Q）之间的相似度、查询与问题对应答案（q-A）之间的相关性，或结合从q-Q相似度度量和q-A相关性度量中获得的线索来对问答对进行排序。本文沿此研究路线，结合从q-Q相似度度量和q-A相关性度量中获得的线索，同时将从一个通用（开放域）知识库中提取的额外词交互信息注入上下文语言模型以推断q-A相关性。此外，我们还探索以无监督方式利用领域特定的词语间主题相关关系，作为有监督领域特定知识库信息的替代。由此，模型可使句子表示具备关于词语间领域特定及主题相关关系的知识，从而提供更好的q-A相关性度量。我们在一个公开可用的中文FAQ数据集上评估了所提方法的多个变体，并进一步将其应用并落地于大规模问题匹配任务，该任务旨在从QA数据集中搜索与输入查询意图相似的问题。在这两个数据集上的大量实验结果证实了所提方法相较于若干最先进方法的优异性能。
引用
@article{arxiv.2010.14049,
title = {Effective FAQ Retrieval and Question Matching With Unsupervised Knowledge Injection},
author = {Wen-Ting Tseng and Tien-Hong Lo and Yung-Chang Hsu and Berlin Chen},
journal= {arXiv preprint arXiv:2010.14049},
year = {2020}
}