验证用户查询变体的模拟

面向系统的信息检索（IR）评估仅限于对真实用户行为相当抽象的理解。作为一种解决方案，当用户交互日志不可用时，模拟用户交互提供了一种经济高效的方式，以更真实的指令来支持面向系统的实验。尽管已有若干用于模拟点击或结果列表交互的用户模型，但针对查询模拟的尝试极少，且尚未研究这些模拟能否复现真实查询的特性。在本工作中，我们借助 TREC 测试集，参照相应主题下真实用户所发出的查询，对模拟的用户查询变体进行验证。此外，我们引入了一种简单而有效的方法，比已有方法能更好地复现真实查询。我们的评估框架从检索性能、主题得分分布的可复现性、共享任务效用、代价与效果，以及与实际用户查询变体相比的查询词相似性等方面对模拟进行验证。尽管主题得分分布的检索有效性与统计特性以及经济性方面接近真实查询，但模拟精确的词语匹配与后续查询重构仍具挑战性。