对话式搜索中用户响应模拟的深入探究

对话式搜索近期在 IR（信息检索）和 NLP（自然语言处理）社区中受到越来越多的关注。它旨在通过多轮自然语言交互来澄清并解决用户的搜索需求。然而，大多数现有系统使用记录或人工生成的对话日志进行训练和演示。最终，对话式搜索系统应在具有未见对话轨迹的开放式环境中进行训练、评估和部署。一个关键挑战是，训练和评估此类系统都需要人在回路（human-in-the-loop），成本高昂且难以扩展。一种策略是模拟用户，从而降低扩展成本。然而，当前的用户模拟器要么仅限于回应对话式搜索系统的是否问题，要么通常无法生成高质量响应。本文中，我们展示现有的用户模拟系统可通过一个更小的微调自然语言生成模型得到显著改进。然而，我们并未仅将其报告为新最先进（state-of-the-art）方法，而是将其视为强基线，并呈现对对话式搜索用户响应模拟的深入探究。我们的目标是通过对基线未解决挑战的细致人工分析来补充现有工作，并提出我们的解决方案。我们识别的挑战包括（1）难以学习的盲点，以及（2）标准设置中一种特定类型的错误评估。我们提出一种新的生成系统以有效覆盖训练盲点，并建议一种新的评估设置以避免错误评估。我们提出的系统相较现有系统及 GPT-4 等大型语言模型取得显著改进。此外，我们的分析提供了对用户模拟本质的洞察，以促进未来工作。