多语种和领域无关的 ToT 查询生成用于模拟评估
信息检索
2026-04-24 v1 计算与语言
摘要
Tip-of-the-Tongue（ToT）检索基准大多聚焦于英语，限制了其在多语种信息检索中的适用性。本文构建了针对中文、日文、韩文和英语的多语种 ToT 测试集合，采用基于大语言模型的查询模拟框架。我们系统研究了提示语言和源文档语言如何影响模拟 ToT 查询的保真度，通过系统排序相关性检验合成查询的有效性。结果表明，有效的 ToT 模拟需要语言感知的设计选择：非英语语言来源通常至关重要，而英语维基百科在非英语来源提供足够信息时仍有益。基于这些发现，我们发布了四个覆盖多个领域、每语言5,000个查询的 ToT 测试集合。本工作提供了首个大规模多语种 ToT 基准，并为构建超越英语的真实感 ToT 数据集提供了实用指导。
引用
@article{arxiv.2604.21096,
title = {Multilingual and Domain-Agnostic Tip-of-the-Tongue Query Generation for Simulated Evaluation},
author = {Xuhong He and To Eun Kim and Maik Fröbe and Jaime Arguello and Bhaskar Mitra and Fernando Diaz},
journal= {arXiv preprint arXiv:2604.21096},
year = {2026}
}
备注
SIGIR 2026; NTCIR track: https://ntcir-tot.github.io