HC4：一套用于即席跨语言信息检索的新测试集
信息检索
2022-01-26 v1 计算与语言
摘要
HC4 是一套用于即席跨语言信息检索（CLIR）的新测试集，包含中文、波斯语和俄语的 Common Crawl News 文档，英语及文档语言的查询主题，以及分级相关性判断。之所以需要新的测试集，是因为使用传统 CLIR 运行结果池化构建的现有 CLIR 测试集，在用于评估神经 CLIR 方法时，其相关性判断存在系统性缺口。HC4 集合包含 60 个主题和约 50 万篇文档（针对中文和波斯语），以及 54 个主题和 500 万篇文档（针对俄语）。在通过交互式搜索和判断进行种子设定后，使用主动学习来确定需要标注的文档。文档根据三级相关性量表进行判断。本文描述了新测试集的设计与构建，并提供了基线结果以展示其在评估系统方面的效用。
引用
@article{arxiv.2201.09992,
title = {HC4: A New Suite of Test Collections for Ad Hoc CLIR},
author = {Dawn Lawrie and James Mayfield and Douglas Oard and Eugene Yang},
journal= {arXiv preprint arXiv:2201.09992},
year = {2022}
}
备注
16 pages, 2 figures, accepted at ECIR 2022