数据分割策略对离线 CTR 预测实验的影响
信息检索
2024-06-27 v1
摘要
点击-through 率(CTR) 预测是在线广告中至关重要的任务，用于推荐用户可能感兴趣的产品。为了识别表现最佳的模型，必须进行严格的模型评估。尽管 A/B 测试等在线实验具有其自身的局限性和风险，但离线实验在为面向用户-项目交互的模型选择方面发挥着重要作用。通常，离线实验性能指标与实际在线模型性能之间的相关性不足。一个主要原因是使用随机分割创建训练、验证和测试数据集的常见做法。相反，现实中的 CTR 预测遵循时间顺序。因此，离线评估中使用的 methodology，特别是数据分割策略，至关重要。本研究旨在通过关注数据分割策略来解决当前离线评估方法与实际应用场景之间的不一致。为了检验不同数据分割策略对离线性能的影响，我们在大型公开基准数据集 Criteo 上使用随机分割和时间分割开展大量实验。
引用
@article{arxiv.2406.18320,
title = {The Effects of Data Split Strategies on the Offline Experiments for CTR Prediction},
author = {Ramazan Tarik Turksoy and Beyza Turkmen},
journal= {arXiv preprint arXiv:2406.18320},
year = {2024}
}