基于信息检索的网页搜索查询分词评估框架
信息检索
2015-03-19 v4
摘要
本文提出了首个直接基于信息检索（IR）性能评估网页搜索查询分词的框架。过去，分词策略主要通过与人工标注进行对比来验证。我们的工作表明，仅通过与少量人工标注分词进行对比来评判分词算法的优劣，几乎无法反映其在基于信息检索环境下的有效性。事实上，研究表明，最先进算法的表现与人工标注相当，甚至在某些情况下更优——这一事实被先前的验证工作所掩盖。所提出的框架还为我们提供了对当前最佳算法与理论最佳分词算法之间差距的客观理解。这些结论基于对六种分词策略（包括三种最新算法）与三位人工标注者生成的分词结果进行的广泛评估得出。该评估框架还揭示了为实现最佳检索结果，算法必须检测出哪些分词片段。我们在实验中精心构建的数据集已公开，供研究社区使用。
引用
@article{arxiv.1111.1497,
title = {An IR-based Evaluation Framework for Web Search Query Segmentation},
author = {Rishiraj Saha Roy and Niloy Ganguly and Monojit Choudhury and Srivatsan Laxman},
journal= {arXiv preprint arXiv:1111.1497},
year = {2015}
}