基于用户模型的意图感知多语言搜索评估指标
信息检索
2016-12-15 v1 计算与语言
人机交互
机器学习
机器学习
摘要
尽管网络搜索的多语言方面日益重要，但迄今为止尚未提出合适的离线指标来评估其质量。同时，个人语言偏好可被视为查询的意图。这种方法将多语言搜索问题转化为搜索多样化的一个特定任务。此外，可采用标准的意图感知方法，在经典信息检索（IR）指标（如 ERR）的基础上构建多语言搜索的多样化指标。意图感知方法在用户行为模型下估计用户满意度。然而，我们表明，在多语言情况下，底层的用户行为模型并不现实，所产生的意图感知指标无法恰当地估计用户满意度。我们开发了一种构建意图感知用户行为模型的新方法，克服了这些局限性，并转化为与标准在线用户满意度指标相关性更好的质量指标。
引用
@article{arxiv.1612.04418,
title = {User Model-Based Intent-Aware Metrics for Multilingual Search Evaluation},
author = {Alexey Drutsa and Andrey Shutovich and Philipp Pushnyakov and Evgeniy Krokhalyov and Gleb Gusev and Pavel Serdyukov},
journal= {arXiv preprint arXiv:1612.04418},
year = {2016}
}
备注
7 pages, 1 figure, 3 tables