用于降低点击后指标方差的分解与交错方法

在本研究中，我们提出了一种在在线实验中比较多个排序的点击后指标（例如停留时间和转化率）的高效方法。所提方法包括：（1）将排序的点击后指标度量分解为点击模型估计和该排序中每个项目的点击后指标度量；（2）对多个排序进行交错以生成优先暴露具有高总体方差项目的单一排序。点击后指标度量的分解使得排序中项目的自由布局成为可能，并聚焦于多个排序中每个项目点击后指标的度量。多个排序的交错通过优化呈现给用户的排序以使这些项目获得更多点击后指标样本，从而降低具有高总体方差项目的样本方差。此外，我们提供了所提方法可使排序比较中的评估误差最小化的证明，并提出了两种稳定在线实验的实用技术。我们进行了全面的模拟实验和真实服务环境实验。实验结果表明：（1）所提方法在效率和准确性上优于现有方法，且当输入排序共享大量项目时性能尤为显著；（2）两种稳定技术成功提升了评估准确性和效率。