探究对抗学习排序模型的鲁棒性：可重复性研究

对抗学习排序(CLTR)因其能够利用大量已记录用户交互数据来训练排序模型而在信息检索社区引起广泛关注。虽然CLTR模型在用户行为假设正确且倾向估计准确时可理论上无偏，但其有效性通常通过基于仿真的实验来评估，因为缺乏广泛可用且规模庞大的真实点击日志。然而，许多基于仿真的实验都有一定局限，因为它们可能存在一项或多项缺陷：1)使用弱的生产排序器生成初始排序列表，2)依赖简化的用户仿真模型来模拟用户点击，3)生成固定数量的合成点击日志。结果是，CLTR模型在复杂多样的情况下的鲁棒性基本上未知，需要进一步调查。为此，本文旨在进行可重复性研究，通过大量仿真实验来调查现有CLTR模型的鲁棒性，其中包括(1)使用不同排序性能的生产排序器，(2)利用不同用户行为假设的多个用户仿真模型，(3)为训练查询生成不同的合成会话数量。我们发现，IPS-DCM、DLA-PBM和UPE模型在各种仿真设置下比其他CLTR模型表现更好。此外，现有的CLTR模型常常在生产排序器很强且训练会话数量有限时未能超过简单点击基准，表明需要针对这些条件开发新的CLTR算法。