针对片段性结果进行连续归因以实现更高效且有针对性的在线度量
应用统计
2022-11-01 v1 机器学习
摘要
在线实验平台以低成本大规模收集用户反馈。部分系统甚至支持实时或近实时数据处理，并可连续更新指标与统计值。许多常用指标（如点击量与页面浏览量）可几乎无延迟地观测。然而，许多重要信号需数小时或数天后方可观测，且噪声在片段持续期间不断累积。当片段性结果源于复杂的用户-产品交互序列时，难以判别哪些交互导致了最终结果。我们缺乏显而易见的归因逻辑，将无法把正向或负向结果关联至不同时刻我们所采取的动作与选择。该归因逻辑对于释放更细粒度、更有针对性且高效的度量能力至关重要，并最终可能达成强化学习的完整能力。本文借鉴因果替代（Causal Surrogacy）思想，利用逐步观测的先行指标对长期结果建模，并将其作为价值函数追踪朝向最终结果的进展，逐步归因至各用户-产品交互步骤。将该方法应用于 Airbnb 的访客预订指标，实现了 50% 至 85% 的显著方差缩减，且与预订指标本身高度一致。连续归因使我们能为每次产品页面浏览赋予效用分数，该分数可灵活进一步聚合至搜索与房源等多种关注单元。我们提供了多处归因的真实应用以彰显其通用性。
引用
@article{arxiv.2210.16373,
title = {Continuous Attribution of Episodical Outcomes for More Efficient and Targeted Online Measurement},
author = {Alex Deng and Michelle Du and Anna Matlin},
journal= {arXiv preprint arXiv:2210.16373},
year = {2022}
}