基于澄清问题的系统之实证研究
信息检索
2020-08-04 v1 计算与语言
摘要
主动提出澄清问题以更好理解用户信息需求的搜索与推荐系统正受到研究界越来越多的关注。然而，据我们所知，尚无实证研究来量化用户是否以及多大程度上愿意或能够回答这些问题。在本工作中，我们通过部署一个实验系统开展在线实验，该系统针对产品库向用户提问澄清问题以进行交互。我们收集了用户的隐式交互行为数据和显式反馈，结果表明：(a) 用户愿意回答相当数量的澄清问题（平均 11-21 个），但再多就不太愿意了；(b) 多数用户会回答问题直到找到目标产品，但也有一部分因疲劳或收到不相关问题而停止；(c) 部分用户回答（12-17%）实际上与目标产品的描述相反；而 (d) 大多数用户（66-84%）认为基于问题的系统对完成任务有帮助。本研究的部分发现与该领域模拟评估的当前假设相矛盾，同时也指向评估框架的改进，并可为未来的交互式搜索/推荐系统设计提供启发。
引用
@article{arxiv.2008.00279,
title = {An Empirical Study of Clarifying Question-Based Systems},
author = {Jie Zou and Evangelos Kanoulas and Yiqun Liu},
journal= {arXiv preprint arXiv:2008.00279},
year = {2020}
}
备注
Parts of content are published on CIKM 2020