双边市场中推荐系统的 A/B 测试
社会与信息网络
2021-10-28 v2 应用统计
统计方法学
摘要
双边市场是许多在线平台（如 Amazon、Facebook、LinkedIn）的标准商业模式，其中平台一侧为消费者、买家或内容观看者，另一侧为生产者、卖家或内容创作者。消费者侧对某处理变体影响的度量可通过简单在线 A/B 测试完成。生产者侧的度量更具挑战性，因为生产者体验依赖于消费者的处理分配。现有的生产者侧度量方法要么基于图簇随机化，要么基于特定处理传播假设。前一种方法随着生产者-消费者网络密度的增加而导致实验功效降低，后一种方法缺乏严格的错误控制概念。本文中，我们提出（i）对生产者侧实验设计质量的量化，以及（ii）基于该量化生成高质量实验的新实验设计机制。我们的方法称为 UniCoRn（统一反事实排序），对实验质量及其计算成本提供显式控制。此外，我们证明我们的实验设计相对于所提设计质量测度是最优的。我们的方法对生产者-消费者网络密度无关，且不依赖任何处理传播假设。而且，与现有方法不同，我们无需预先知道底层网络，这使其广泛适用于工业环境——其中底层网络未知且因其动态特性难以先验预测。我们使用仿真验证我们的方法，并与现有方法比较。我们还将 UniCoRn 部署于一个边缘推荐应用中，该应用每日服务数千万成员及数十亿次边缘推荐。
引用
@article{arxiv.2106.00762,
title = {A/B Testing for Recommender Systems in a Two-sided Marketplace},
author = {Preetam Nandy and Divya Venugopalan and Chun Lo and Shaunak Chatterjee},
journal= {arXiv preprint arXiv:2106.00762},
year = {2021}
}