引导您的行为：面向用户行为序列数据的新型预训练策略
机器学习
2025-06-16 v1 人工智能
摘要
用户行为序列（User Behavior Sequence, UBS）建模在工业应用中至关重要。随着数据规模和任务多样性的增加，UBS预训练方法日益重要。现有领先的UBS预训练方法依赖于预测行为分布，其关键步骤在于构建所选行为词汇表。然而，这一手动步骤既费时又易引入偏见。词汇容量的限制也直接影响模型的泛化能力。本文引入Bootstrapping Your Behavior（\model{}），一种新型UBS预训练策略，通过预测自动构建的监督嵌入来总结未来时间窗口内所有行为信息，从而消除对手动行为词汇表选择的需求。在实现方面，我们采用学生-教师编码器方案有效构建预训练监督信号。在两个真实工业数据集和八个下游任务上的实验表明，\model{}在AUC上平均提升3.9%，训练吞吐量达98.9%。值得注意的是，在没有任何标签监督的情况下，该模型在预训练期间展现出有意义的注意力模式和聚类表示。在线部署两个月后，针对支付宝移动应用中的两个金融逾期风险预测任务，预训练模型相对于基线模型将KS值提升约2.7%和7.1%，有助于蚂蚁集团减少数百万美元的坏账风险。
引用
@article{arxiv.2506.11053,
title = {Bootstrapping your behavior: a new pretraining strategy for user behavior sequence data},
author = {Weichang Wu and Xiaolu Zhang and Jun Zhou and Yuchen Li and Wenwen Xia},
journal= {arXiv preprint arXiv:2506.11053},
year = {2025}
}