基于用户模拟的混合主动对话式搜索系统评估
计算与语言
2022-04-21 v2 信息检索
摘要
通过提出澄清性问题来澄清用户潜在的信息需求，是现代对话式搜索系统的一项重要功能。然而，通过回答被提示的澄清性问题来评估此类系统需要大量人力，这可能耗时且昂贵。在本文中，我们提出了一种称为 USi 的对话式用户模拟器，用于对此类对话式搜索系统进行自动评估。给定信息需求的描述，USi 能够在整个搜索会话中自动回答关于该主题的澄清性问题。通过一组实验（包括自动自然语言生成指标和众包研究），我们表明 USi 生成的回复既符合潜在的信息需求，又可与人类生成的答案相媲美。此外，我们朝多轮交互迈出了第一步，其中对话式搜索系统向（模拟）用户提出多个问题，以澄清用户需求为目标。为此，我们通过基于众包的多轮数据采集，对当前可用于研究澄清性问题的数据集（即 Qulac 和 ClariQ）进行了扩展。我们展示了我们基于 GPT2 的生成模型能够在单轮设置下对未见过的澄清性问题提供准确且自然的回答，并讨论了我们的模型在多轮设置下的能力。我们提供了代码、数据和预训练模型，以供该主题的进一步研究使用。
引用
@article{arxiv.2204.08046,
title = {Evaluating Mixed-initiative Conversational Search Systems via User Simulation},
author = {Ivan Sekulić and Mohammad Aliannejadi and Fabio Crestani},
journal= {arXiv preprint arXiv:2204.08046},
year = {2022}
}