检索结果中感知到的性别偏见是否影响相关性判断？
信息检索
2022-03-04 v1
摘要
本工作研究检索结果内容中的性别刻板偏见对用户/标注者相关性判断的影响。特别地，由于信息检索(IR)中的相关性是一个多维概念，我们研究对于一些偏见敏感查询，当文档内容代表不同性别时，检索文档的价值与质量是否会被不同地判断。为此，我们进行了一组实验，其中参与者性别已知，以及一组参与者性别未指定的实验。实验集合包含检索任务，参与者对不同搜索查询与搜索结果文档汇编进行评级相关性判断。所展示文档含有不同性别指示，并且与查询相关或不相关。结果显示了具有不同性别内容的文档间平均判断相关性分数的差异。我们的工作开启了关于用户性别刻板感知与其判断及对 IR 系统影响的进一步研究，并旨在提高对该领域可能存在偏见的认识。
引用
@article{arxiv.2203.01731,
title = {Do Perceived Gender Biases in Retrieval Results Affect Relevance Judgements?},
author = {Klara Krieg and Emilia Parada-Cabaleiro and Markus Schedl and Navid Rekabsaz},
journal= {arXiv preprint arXiv:2203.01731},
year = {2022}
}
备注
Accepted at workshop on Algorithmic Bias in Search and Recommendation at ECIR 2022