用于收集无偏好好的最小侵入性随机化方法

点击-through 数据是获取用于改进和个性化搜索引擎的隐式相关反馈的低成本且资源丰富的来源。然而，众所周知，用户点击结果的概率强烈偏向于位于结果集合较高位置的文件， regardless of relevance。我们引入一种简单方法来修改搜索结果的呈现方式，这在合理假设下可证明给出的相关性判断不受呈现偏置的影响。我们在交互式真实世界实验中验证了训练数据具有此属性。最后，我们表明使用这些无偏相关性判断，学习方法可以保证在数据充足时收敛到理想排序。