识别预测线上影响的离线指标：面向实际推荐系统的实用策略
信息检索
2025-07-15 v1 人工智能
机器学习
摘要
推荐系统的一个关键挑战是建立可靠的离线指标与线上性能之间的关系。针对这一挑战，受帕累托前沿逼近最新进展的启发，我们提出了一种识别与线上影响相一致的离线指标的实用策略。该方法的一个关键优势是能够同时服务于每个离线性能指标都不同的多个测试组，这些测试组在由单个模型控制的在线实验中进行。该方法对具有神经网络背板的系统具有模型无关性，能够广泛适用于各种体系结构和领域。我们通过在 OTTO 电子商务平台上进行基于会话的推荐系统的大规模在线实验进行了验证。实验识别出离线指标与实际点击-through rate、点击后转化 rate 和销售数量之间存在显著一致性。我们的策略为行业从业者提供了一种宝贵的工具，用于理解离线-线上指标之间的关系，作出数据驱动的决策。
引用
@article{arxiv.2507.09566,
title = {Identifying Offline Metrics that Predict Online Impact: A Pragmatic Strategy for Real-World Recommender Systems},
author = {Timo Wilm and Philipp Normann},
journal= {arXiv preprint arXiv:2507.09566},
year = {2025}
}
备注
This work was accepted for publication in the 19th ACM Conference on Recommender Systems (RecSys 2025). The final published version will be available at the ACM Digital Library