POSSCORE：一种基于词性标注的简洁而有效的对话式搜索评价方法
信息检索
2021-09-08 v1 人工智能
计算与语言
摘要
对话式搜索系统，如 Google Assistant 和 Microsoft Cortana，提供了一种新的搜索范式，用户可通过自然语言对话与搜索系统交流。评价此类系统非常具有挑战性，因为搜索结果以自然语言句子形式呈现。鉴于可能回复的数量无限，收集所有潜在回复的相关性判定是不可行的。本文中，我们提出 POSSCORE，一种简洁而有效的对话式搜索自动评价方法。所提基于嵌入的度量考虑了回复中词的词性（POS）的影响。据我们所知，我们的工作是首个系统性地证明纳入句法信息（如 POS 标签）对对话式搜索评价重要性的工作。实验结果表明，我们的度量能与人类偏好相关，相较最先进基线度量取得显著提升。
引用
@article{arxiv.2109.03039,
title = {POSSCORE: A Simple Yet Effective Evaluation of Conversational Search with Part of Speech Labelling},
author = {Zeyang Liu and Ke Zhou and Jiaxin Mao and Max L. Wilson},
journal= {arXiv preprint arXiv:2109.03039},
year = {2021}
}
备注
11 pages