BERT4Rec：基于Transformer双向编码器表示的序列推荐
信息检索
2019-08-22 v2 机器学习
摘要
从用户历史行为中建模其动态且演化的偏好对推荐系统而言既具挑战又至关重要。以往方法采用序列神经网络（如循环神经网络）将用户历史交互从左至右编码为隐表示以进行推荐。尽管这些方法取得了令人满意的结果，它们常假设严格有序的序列，而这并非总是切合实际。我们认为此类从左至右的单向架构限制了历史序列表示的表达能力。为此，我们引入了基于Transformer的双向编码器表示用于序列推荐（BERT4Rec）。然而，在深度双向模型中同时以左右上下文为条件会使训练变得平凡，因为每一项都可间接“看到目标项”。为解决该问题，我们使用Cloze任务训练双向模型，通过联合以左右上下文为条件来预测序列中被掩码的项。与在序列各位置预测下一项相比，Cloze任务可产生更多样本以训练更强大的双向模型。在四个基准数据集上的大量实验表明，我们的模型一致优于各类最先进的序列模型。
引用
@article{arxiv.1904.06690,
title = {BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer},
author = {Fei Sun and Jun Liu and Jian Wu and Changhua Pei and Xiao Lin and Wenwu Ou and Peng Jiang},
journal= {arXiv preprint arXiv:1904.06690},
year = {2019}
}
备注
To appear in CIKM 2019