点击模型去偏性的离线度量

从用户点击中学习时的一个众所周知的问题是数据中普遍存在的固有偏差，例如位置偏差或信任偏差。点击模型是一种从用户点击中提取信息（如网页搜索中的文档相关性）或估计点击偏差以用于反事实学习排序、广告放置或公平排序等下游应用的常用方法。近期工作表明，学界当前的评估实践无法保证表现良好的点击模型能很好地泛化到排序分布不同于训练分布的下游任务，即在协变量偏移下。在本文中，我们提出一种基于条件独立性检验的评估度量，以检测点击模型对协变量偏移缺乏鲁棒性。我们引入点击建模中去偏性的概念并推导其度量方法。在大量半合成实验中，我们表明所提度量有助于预测点击模型在协变量偏移下的下游性能，并在离策略模型选择场景中有用。