Abacus：面向顺序用户建模的自监督事件计数对齐分布预训练方法
机器学习
2025-12-19 v1 信息检索
摘要
建模用户购买行为是显示广告系统中的关键挑战，对于实现实时出价至关重要。其困难在于正样本用户事件稀疏且用户行为随机性强，导致严重的类别不平衡和事件时间不规则。预测系统通常依赖人工构建的“计数器”特征，忽略了用户意图的细粒度时序演变。与此同时，当前的序列模型提取直接的序列信号，却遗漏了有用的事件计数统计信息。我们通过自监督预训练策略增强深度序列模型，以适用于显示广告。特别地，我们引入了 Abacus，即一种预测用户事件经验频率分布的新方法。我们进一步提出了将 Abacus 与序列学习目标统一的混合目标，结合聚合统计的稳定性与序列建模的敏感性。在两个真实世界数据集上的实验表明，Abacus 预训练显著优于现有方法，加快下游任务收敛；而混合方法相较于基线可提升约6.1%的 AUC。
引用
@article{arxiv.2512.16581,
title = {Abacus: Self-Supervised Event Counting-Aligned Distributional Pretraining for Sequential User Modeling},
author = {Sullivan Castro and Artem Betlei and Thomas Di Martino and Nadir El Manouzi},
journal= {arXiv preprint arXiv:2512.16581},
year = {2025}
}