具有理论保证的敏感且可扩展在线评估方法

多交织比较方法将交织比较方法推广，提供了一种基于常规用户交互比较排序系统的可扩展方法。此类方法使搜索引擎的研究与开发日益迅速。然而，现有提供可靠结果的多交织比较方法是以牺牲评估期间的用户体验为代价的。反之，当前保持用户体验的多交织比较方法无法保证正确性。我们的贡献有两部分。首先，我们提出一个理论框架，利用considerateness（关注保持用户体验）和fidelity（关注可靠的正确结果）的概念来系统比较多交织比较方法。其次，我们引入一种新颖的多交织比较方法——Pairwise Preference Multileaving（PPM，成对偏好多交织），该方法基于文档对偏好进行比较，并证明它是considerate且具有fidelity。我们通过实验表明，与以往的多交织比较方法相比，PPM对用户偏好更敏感，且随被比较排序器数量具有可扩展性。