基于反事实交织设计的在线推荐系统供给侧实验
统计方法学
2023-11-08 v2
摘要
推荐系统已成为在线平台不可或缺的一部分,为购买、内容消费和人际连接提供个性化推荐。这些系统由两侧组成:供给侧包括产品销售商、内容创作者或服务提供商等,需求侧包括买家、观众或顾客等。为优化在线推荐系统,A/B 测试作为比较不同排序模型并评估其对消费者和生产者影响的黄金标准。虽然需求侧实验设计相对直接,且常用于评估排序变化对消费者(买家、观众等)行为的影响,但在线推荐/排序系统的供给侧实验设计则明显更为复杂,因为处理组和对照组中的生产者物品需由不同模型排序,然后合并为统一排序呈现给每位消费者。文献中当前的设计方案是临时的,缺乏严格的指导原则。本文中,我们审视这些现有方法的局限,并提出用于设计在线推荐系统供给侧实验的一致性原则和单调性原则。基于这些原则,我们还给出了一种基于反事实交织设计的系统化解法,以准确衡量排序变化对生产者(销售商、创作者等)的影响。
引用
@article{arxiv.2310.16294,
title = {Producer-Side Experiments Based on Counterfactual Interleaving Designs for Online Recommender Systems},
author = {Yan Wang and Shan Ba},
journal= {arXiv preprint arXiv:2310.16294},
year = {2023}
}