SARA：一个敏感性感知的相关性评估集合
信息检索
2024-01-11 v1
摘要
大型档案集合（如电子邮件或政府文件）在公开发布前，必须经过人工审查以识别任何敏感信息。敏感性分类在文献中已受到广泛关注。然而，近来人们对开发敏感性感知搜索引擎的兴趣日益增长，这类引擎能为用户提供相关的搜索结果，同时确保不向用户返回任何敏感文档。敏感性感知搜索将减轻在集合公开发布前进行人工敏感性审查的需求。为开发此类系统，需要有测试集合，其中包含针对一组信息需求的相关性评估，以及针对多种敏感性类别的真实标签。著名的安然（Enron）电子邮件集合包含一个分类真实标签，可用于表示敏感信息，例如，“纯个人”和“职业背景下的个人”类别可用于表示敏感的个人信息。然而，现有的安然集合并不包含一组信息需求和相关性评估。在这项工作中，我们为安然集合提供了一个包含 50 个信息需求（主题）的集合，并附有众包的查询构建（每个主题 3 个）和相关性评估（总计 11,471 条）（每个主题的相关文档平均数 = 11，方差 = 34.7）。所开发的信息需求、查询和相关性判断可在 GitHub 上获取，并将通过流行的 ir_datasets 库与现有的安然集合一同提供。我们提出的集合构成了首个用于开发敏感性感知搜索系统的免费可用测试集合。
引用
@article{arxiv.2401.05144,
title = {SARA: A Collection of Sensitivity-Aware Relevance Assessments},
author = {Jack McKechnie and Graham McDonald},
journal= {arXiv preprint arXiv:2401.05144},
year = {2024}
}