FairDiverse: 一个面向公平与多样化信息检索算法的全面工具包
信息检索
2025-02-18 v1
摘要
在现代信息检索（IR）中，仅追求准确性已不足以维持健康的生态系统，尤其是在处理公平性和多样性考量时。为满足这些需求，已引入了多种数据集、算法和评估框架。然而，这些算法往往在不同的指标、数据集和实验设置上进行测试，导致不一致性和直接比较的困难。这凸显了对一个全面 IR 工具包的需求，该工具包能够在不同 IR 任务中对公平性和多样性感知算法进行标准化评估。为应对这一挑战，我们推出了 FairDiverse，一个开源且标准化的工具包。FairDiverse 提供一个框架，用于在 IR 流水线的不同阶段集成公平和多样性的方法，包括预处理、处理中和后处理技术。该工具包支持在 16 个基础模型上评估 28 个公平性和多样性算法，覆盖两个核心 IR 任务（搜索和推荐），从而建立了全面的基准。此外，FairDiverse 具有高度可扩展性，提供多个 API，使 IR 研究人员能够快速开发和评估自己的公平性和多样性感知模型，同时确保与现有基线的公平比较。该项目已开源，地址为 https://github.com/XuChen0427/FairDiverse。
引用
@article{arxiv.2502.11883,
title = {FairDiverse: A Comprehensive Toolkit for Fair and Diverse Information Retrieval Algorithms},
author = {Chen Xu and Zhirui Deng and Clara Rus and Xiaopeng Ye and Yuanna Liu and Jun Xu and Zhicheng Dou and Ji-Rong Wen and Maarten de Rijke},
journal= {arXiv preprint arXiv:2502.11883},
year = {2025}
}