UserBERT:通过自监督建模长短期用户偏好
机器学习
2022-02-16 v1 人工智能
摘要
电子商务平台每天从数百万独特用户产生大量客户行为数据,如点击与购买。然而,由于通常没有足够标签以监督方式从所有用户学习,有效利用该数据用于行为理解任务颇具挑战。本文扩展 BERT 模型至电商用户数据,以自监督方式预训练表征。通过将序列中用户动作类比于句子中的词,我们将现有 BERT 模型扩展至用户行为数据。此外,我们的模型采用统一结构同时学习长期与短期用户行为以及用户属性。我们提出对不同类型用户行为序列的分词方法、输入表征向量的生成方法,以及一种新颖的预训练任务,使预训练模型能从自身输入学习,消除对标注训练数据的需求。大量实验表明,所学表征迁移至三个不同真实世界任务时带来显著提升,尤其相较于特定任务建模与多任务表征学习。
引用
@article{arxiv.2202.07605,
title = {UserBERT: Modeling Long- and Short-Term User Preferences via Self-Supervision},
author = {Tianyu Li and Ali Cevahir and Derek Cho and Hao Gong and DuyKhuong Nguyen and Bjorn Stenger},
journal= {arXiv preprint arXiv:2202.07605},
year = {2022}
}