语义搜索评估
信息检索
2024-10-30 v1 计算与语言
摘要
我们提出了一种评估内容搜索系统性能的新方法，该方法测量查询与搜索系统返回结果之间的语义匹配。我们引入了一个称为“切题率”的指标，用于测量与查询相关的结果百分比。为了实现这一点，我们设计了一个流程，该流程定义了一个黄金查询集，为每个查询检索前 K 个结果，并使用构建的提示向 GPT 3.5 发送调用。我们的语义评估流程有助于识别常见的失败模式以及针对相关性改进的目标。
引用
@article{arxiv.2410.21549,
title = {Semantic Search Evaluation},
author = {Chujie Zheng and Jeffrey Wang and Shuqian Albee Zhang and Anand Kishore and Siddharth Singh},
journal= {arXiv preprint arXiv:2410.21549},
year = {2024}
}
备注
Accepted by 3rd International Workshop on Industrial Recommendation Systems (at CIKM 2024)