PANTHER：超越语言的生成式预训练用于顺序用户行为建模
机器学习
2026-03-31 v2
摘要
大型语言模型（LLM）已显示，生成式预训练能够将广泛的世界知识蒸馊到紧凑的token表示中。虽然LLM包含广泛的世界知识，但在建模包含在用户交互历史中的行为知识方面仍有限。用户行为形成一种独特的模态，其中每一动作由多维属性（如时间、上下文和交易类型）构成行为token。对这些高基数序列进行建模具有挑战性，判别模型往往在受限监督下难以胜任。为填补这一差距，我们将生成式预训练扩展到用户行为，学习类似LLM如何从文本中学习的无标记行为数据的可转移表示。我们提出PANTHER，一个混合生成-判别框架，统一了用户行为预训练和下游适应，使大规模顺序用户表示学习和实时推断成为可能。PANTHER引入了：（1）结构化分词将多维交易属性压缩为可解释的词汇表；（2）序列模式识别模块（SPRM）用于建模周期性交易模式；（3）统一的用户配置文件嵌入融合静态人口统计信息与动态交易历史；（4）通过对预训练嵌入进行离线缓存实现的实时扩展，支持毫秒级推断。在微信支付上全面部署运行中，PANTHER在下一个交易预测HitRate@1提升了25.6%，在欺诈检测召回率上实现了38.6%的相对改进。跨域评估在公共基准数据集上显示出强大的概括能力，在transformer基线上实现最高达21%的HitRate@1提升，使PANTHER成为面向工业界的大规模顺序用户行为建模的高性能框架。
引用
@article{arxiv.2510.10102,
title = {PANTHER: Generative Pretraining Beyond Language for Sequential User Behavior Modeling},
author = {Guilin Li and Yun Zhang and Xiuyuan Chen and Chengqi Li and Bo Wang and Linghe Kong and Wenjia Wang and Weiran Huang and Matthias Hwai Yong Tan},
journal= {arXiv preprint arXiv:2510.10102},
year = {2026}
}