PT-Ranking：一个用于神经排序学习的基准平台
信息检索
2020-09-01 v1
摘要
深度神经网络已成为从事排序学习算法研究的研究者的首选。遗憾的是，找到能够实现最佳排序性能的超参数最优设置并非易事。因此，开发新模型并与已有方法进行公平比较变得越来越困难，对新人而言尤其如此。在本工作中，我们提出 PT-Ranking，一个基于 PyTorch 的开源项目，用于开发和评估以深度神经网络为基础构建打分函数的排序学习方法。一方面，PT-Ranking 包含许多具有代表性的排序学习方法。除通过经验风险最小化的传统优化框架外，还集成了对抗优化框架。此外，PT-Ranking 的模块化设计提供了一组构建模块，用户可利用其开发新的排序模型。另一方面，PT-Ranking 支持基于广泛使用的数据集（如 MSLR-WEB30K、Yahoo!LETOR 和 Istella LETOR）根据不同指标（如 precision、MAP、nDCG、nERR）比较不同的排序学习方法。通过以指定比例随机掩码真实标签，PT-Ranking 可考察未标注查询-文档对的比例在多大程度上影响不同排序学习方法的性能。我们进一步开展了一系列演示实验，清晰展示了不同因素（如激活函数、层数以及优化策略）对神经排序学习方法的影响。
引用
@article{arxiv.2008.13368,
title = {PT-Ranking: A Benchmarking Platform for Neural Learning-to-Rank},
author = {Hai-Tao Yu},
journal= {arXiv preprint arXiv:2008.13368},
year = {2020}
}