衡量搜索引擎结果偏见的评估指标
信息检索
2023-02-07 v2
摘要
搜索引擎决定我们在给定搜索查询下看到的内容。由于许多人通过搜索引擎获取信息，我们有理由期望搜索引擎是中立的。然而，搜索引擎结果未必涵盖某一搜索查询主题的所有观点，并且它们可能偏向特定观点，因为搜索引擎结果是基于相关性返回的，而相关性是使用许多特征和复杂算法计算的，其中搜索中立性未必是焦点。因此，评估搜索引擎结果是否存在偏见十分重要。在这项工作中，我们提出了考虑排名和相关性的新型网络搜索偏见评估度量。我们还提出了一个使用所提度量评估网络搜索偏见的框架，并基于 57 个争议性查询主题（如堕胎、医用大麻和同性婚姻）在两个流行搜索引擎上测试了我们的框架。我们测量了立场偏见（支持或反对）以及意识形态偏见（保守或自由）。我们观察到立场未必与意识形态倾向相关，例如对堕胎的积极立场表示自由倾向，而对古巴禁运的积极立场表示保守倾向。我们的实验表明，两个搜索引擎均未受到立场偏见影响。然而，两个搜索引擎都存在意识形态偏见，均偏向某一种意识形态倾向，这从我们社会的极化视角来看更为显著。
引用
@article{arxiv.2210.10517,
title = {Evaluation Metrics for Measuring Bias in Search Engine Results},
author = {Gizem Gezici and Aldo Lipani and Yucel Saygin and Emine Yilmaz},
journal= {arXiv preprint arXiv:2210.10517},
year = {2023}
}