TREC iKAT 2023：用于评估对话式和交互式知识助手的测试集合

随着大型语言模型（LLM）的发展，最近几年对话信息检索发展迅速，为以自然方式解释和响应用户请求提供了基础。扩展的 TREC 交互式知识协助轨道（iKAT）集合旨在使研究人员能够测试和评估其对话式搜索代理（CSA）。该集合包含 36 组针对 20 个不同主题的个性化对话，每组都配有个人文本知识库（PTKB），用于定义特定用户角色。提供了 344 个轮次的约 26,000 条段落的相关性评估，以及针对生成响应的额外评估，涵盖四个关键维度：相关性、完整性、可 grounding 性和自然性。该集合挑战 CSA 高效地导航多样化的个人上下文，获取 pertinent 人格信息，并在相关对话中运用上下文。PTKB 的集成以及对决策搜索任务的强调 contribute to this test collection 的独特性，使其成为推动对话式和交互式知识助手研究发展的重要基准。