用于模拟评估的舌尖上的问题查询触发
信息检索
2025-07-08 v2 计算与语言
人机交互
摘要
舌尖上的问题（Tip-of-the-tongue，TOT）搜索发生在用户难以recall特定标识（如文档标题）时。虽然常见，但现有搜索系统往往无法有效支持 TOT 场景。TOD 检索研究进一步受限于收集查询的挑战，因为现有方法依赖社区问答（CQA）网站，导致评估引人乏味且存在领域偏见。为克服这些限制，我们引入两种方法来触发 TOT 查询——利用大型语言模型（LLM）和人类参与者——以促进 TOT 检索系统的模拟评估。我们的 LLM 基于 TOT 用户模拟器在规模上生成合成 TOT 查询，实现与在电影领域测试中使用 CQA 基于查询排名 TOT 检索系统的高度相关性。此外，这些合成查询在语言学上与 CQA 派生查询具有高度相似性。对于人类触发查询，我们开发了一个界面，使用视觉刺激将用户置于 TOT 状态，从而收集自然查询。在电影领域，系统排序相关性和语言学相似性分析确认，人类触发查询既有效又接近 CQA 基于查询。这些方法减少了对 CQA 基于数据收集的依赖，同时扩展到如地标和人物等缺乏覆盖的领域。LLM 生成的查询已用于 Movie、Landmark 和 Person 领域，作为 TREC 2024 TOT 轨道的测试查询发布；人类触发查询计划纳入 TREC 2025 TOT 轨道。此外，我们提供合成查询生成的源代码、人类查询收集界面，以及用于触发 TOT 查询的精选视觉刺激。
引用
@article{arxiv.2502.17776,
title = {Tip of the Tongue Query Elicitation for Simulated Evaluation},
author = {Yifan He and To Eun Kim and Fernando Diaz and Jaime Arguello and Bhaskar Mitra},
journal= {arXiv preprint arXiv:2502.17776},
year = {2025}
}
备注
SIGIR 2025