UserBERT：对比式用户模型预训练
信息检索
2021-09-06 v1
摘要
用户建模对于个性化网络应用至关重要。现有的用户建模方法通常利用任务特定的标注数据从用户行为中训练用户模型。然而，目标任务中的标注数据可能不足以训练准确的用户模型。幸运的是，通常存在丰富的无标注用户行为数据，其编码了用户特征与兴趣的丰富信息。因此，在无标注用户行为数据上预训练用户模型有潜力改善许多下游任务的用户建模。本文提出一种名为UserBERT的对比式用户模型预训练方法。UserBERT中引入了两个自监督任务，用于在无标注用户行为数据上预训练用户模型以增强用户建模。其一是掩码行为预测，旨在建模用户行为之间的相关性；其二是行为序列匹配，旨在捕捉在不同时间段保持一致的用户内在兴趣。此外，我们提出一种中难负采样框架，以选择信息丰富的负样本从而实现更好的对比预训练。我们维护一个同步更新的候选行为池与一个异步更新的候选行为序列池，以高效方式选择局部最难的负行为与行为序列。在多个不同任务的真实数据集上的大量实验表明，UserBERT能有效改进各类用户模型。
引用
@article{arxiv.2109.01274,
title = {UserBERT: Contrastive User Model Pre-training},
author = {Chuhan Wu and Fangzhao Wu and Yang Yu and Tao Qi and Yongfeng Huang and Xing Xie},
journal= {arXiv preprint arXiv:2109.01274},
year = {2021}
}