MergeDTS：一种用于大规模在线排序器评估的有效方法

在线排序器评估是信息检索中的关键挑战之一。虽然排序器之间的偏好可以通过交织方法推断，但如何在不严重损害用户体验的前提下有效选择生成交织列表的排序器对，仍然具有挑战性。一方面，如果两个排序器比较次数不足，推断出的偏好可能是有噪声且不准确的；另一方面，如果两个排序器比较次数过多，交织过程不可避免地会严重损害用户体验。这一困境被称为探索与利用的权衡。它由$K$臂对决_bandit问题刻画，这是$K$臂bandit问题的一个变体，其反馈以成对偏好的形式给出。当前部署的搜索系统可以并发评估大量排序器，而在众多排序器存在的情况下有效扩展是$K$臂对决bandit问题的关键方面。本文关注在所谓Condorcet假设下解决大规模在线排序器评估问题，即存在一个优于所有其他排序器的最优排序器。我们提出了Merge Double Thompson Sampling（MergeDTS），它首先利用分治策略将算法执行的比局限于小批量排序器，然后采用Thompson Sampling（TS）来减少这些小批量中次优排序器之间的比较。MergeDTS的有效性（regret）和效率（时间复杂度）通过使用网页搜索在线评估领域的实例进行了广泛评估。我们的主要发现是，对于大规模Condorcet排序器评估问题，MergeDTS优于最先进的对决bandit算法。