MIMICS-Duo：搜索澄清的离线与在线评估
信息检索
2022-06-10 v1
摘要
提出澄清问题是一个活跃的研究领域；然而，用于训练和评估搜索澄清方法的资源尚不充分。为解决此问题，我们描述了 MIMICS-Duo，一个包含 306 个搜索查询及其多个澄清（共 1,034 个查询-澄清对）的新的免费可用数据集。MIMICS-Duo 包含对澄清问题及其候选答案的细粒度标注，并通过支持对搜索澄清方法进行多维评估（包括在线和离线评估）增强了现有的 MIMICS 数据集。我们进行了广泛分析以展示离线与在线搜索澄清数据集之间的关系，并概述了由 MIMICS-Duo 所支持的若干研究方向。我们相信该资源将帮助研究者更好地理解搜索中的澄清。
引用
@article{arxiv.2206.04417,
title = {MIMICS-Duo: Offline & Online Evaluation of Search Clarification},
author = {Leila Tavakoli and Johanne R. Trippas and Hamed Zamani and Falk Scholer and Mark Sanderson},
journal= {arXiv preprint arXiv:2206.04417},
year = {2022}
}
备注
11 pages