ULTRA：一个无偏学习排序算法工具箱

学习排序系统已成为我们日常生活的重要方面。然而，用于训练许多学习排序模型的隐式用户反馈通常含有噪声并受用户偏差（即位置偏差）影响。因此，利用有偏反馈获得无偏模型已成为信息检索（IR）的一个重要研究领域。现有的无偏学习排序（ULTR）研究可归纳为两类：一类利用日志数据在离线学习中达到无偏，另一类通过实时用户交互估计无偏参数实现无偏，即在线学习。尽管两类均有众多算法，却缺乏统一的比较与基准测试方式。这导致研究者难以为其问题选择合适的技法，新手也难以学习理解现有算法。为解决此问题，我们推出了 ULTRA，一个灵活、可扩展且易配置的无偏学习排序工具箱。其关键特性包括支持多种可配置超参数的 ULTR 算法、可单独用于模拟点击的多种内置点击模型、不同的排序模型架构与评估指标，以及简便的学习排序流水线构建。本文讨论了 ULTR 的总体框架，简述了 ULTRA 中的算法，详述了工具箱的结构与流水线。我们在 ultra 支持的所有算法上进行了实验，表明该工具箱性能合理。我们的工具箱是研究者以不同配置开展 ULTR 算法实验并利用所支持特性测试自有算法的重要资源。