PUNR：面向新闻推荐的用户行为建模预训练
信息检索
2023-10-31 v2 计算与语言
摘要
新闻推荐旨在基于用户行为预测点击行为。如何有效建模用户表示是推荐偏好新闻的关键。现有工作大多聚焦于监督微调阶段的改进。然而，仍缺乏针对用户表示优化的基于 PLM 的无监督预训练方法。在本工作中，我们提出一种无监督预训练范式，包含两项任务，即用户行为掩码与用户行为生成，均面向有效的用户行为建模。首先，我们引入用户行为掩码预训练任务，基于上下文行为恢复被掩码的用户行为。由此，模型能够捕捉更强且更全面的用户新闻阅读模式。此外，我们加入一种新颖的辅助用户行为生成预训练任务，以增强由用户编码器导出的用户表示向量。我们利用上述预训练的用户建模编码器在下游微调中获取新闻与用户表示。在真实世界新闻基准上的评估显示，相较现有基线取得了显著的性能提升。
引用
@article{arxiv.2304.12633,
title = {PUNR: Pre-training with User Behavior Modeling for News Recommendation},
author = {Guangyuan Ma and Hongtao Liu and Xing Wu and Wanhui Qian and Zhepeng Lv and Qing Yang and Songlin Hu},
journal= {arXiv preprint arXiv:2304.12633},
year = {2023}
}
备注
Accepted by Findings of EMNLP23. Github Repo: https://github.com/ma787639046/punr