衡量与解决信息检索中的索引偏置

信息检索（IR）系统旨在提供相关内容，但传统系统可能未针对公平性、中立性或思想的平衡进行排序优化。因此，信息检索常会引入索引偏置，即文档位置顺序偏置。尽管索引偏置可显著影响人们的意见、投票模式及其他行为，但这些问题仍未得到充分研究，因为该领域缺乏可靠的指标和自动测量索引偏置的程序。为此，我们引入 PAIR 框架，支持对排名文档或整个 IR 系统进行自动偏差审计。我们在介绍第一个通用自动偏差指标 DUO 之后，对 8 个 IR 系统进行了广泛评估，这些系统基于一个新的语料库，其中包含 32000 篇合成文档和 4700 篇自然文档，涉及 4000 个查询和 1400 个有争议的话题。人类行为研究验证了我们方法的有效性，表明我们的偏差指标能够帮助预测何时以及如何会影响读者的意见。