电商搜索中无偏学习排序的位置偏差估计

无偏学习排序（Unbiased Learning-to-Rank）框架近期被提出，作为从学习排序模型中系统性消除诸如位置偏差等偏差的通用方法。该方法分两步——估计点击倾向性并利用其训练无偏模型。文献中提出的大多数估计倾向性的常用方法都涉及对在线搜索引擎的某种干预。近期提出的另一种方法使用期望最大化（EM）算法，通过排序特征估计相关性来估计倾向性。在本工作中，我们提出一种直接估计倾向性的新方法，其不利用任何在线搜索干预，也不依赖相关性建模。相反，我们利用同一查询-文档对可能随时间自然改变排名这一事实。这通常发生于电商搜索中，因为商品热度随时间变化、存在时间依赖的排序特征，或索引中商品的增删（商品售罄或新商品上架）。然而，我们的方法是通用的，可应用于任何相同查询下同一文档排名可能自然变化的搜索引擎。我们推导了一个仅依赖倾向性的简单似然函数，并通过最大化该似然获得倾向性估计。我们将此方法应用于 eBay 搜索数据，估计网页与移动端搜索的点击倾向性，并与 EM 方法的估计进行比较。我们还使用模拟数据表明该方法可给出可靠的“真实”模拟倾向性估计。最后，我们利用估计的倾向性训练了 eBay 搜索的无偏学习排序模型，并展示其优于两个基线——一个无位置偏差校正，另一个使用 EM 方法进行位置偏差校正。