通过反向预训练 Transformer 以伪先验项增强序列推荐
信息检索
2021-05-04 v1 人工智能
摘要
序列推荐通过按时间顺序对物品序列建模来刻画演化模式。其本质目标是捕捉物品转移相关性。Transformer 近期的发展启发了学界设计有效的序列编码器，例如 SASRec 和 BERT4Rec。然而，我们观察到这些基于 Transformer 的模型存在冷启动问题，即对短序列表现不佳。因此，我们提出在保留原始序列相关性的同时增强短序列。我们引入了一个用伪先验项增强序列推荐（ASReP）的新框架。我们首先以反向方向预训练一个 Transformer 来预测先验物品。然后，我们使用该 Transformer 在短序列开头生成虚构的历史物品。最后，我们按时间顺序使用这些增强序列微调 Transformer 以预测下一个物品。在两个真实世界数据集上的实验验证了 ASReP 的有效性。代码可在 https://github.com/DyGRec/ASReP 获取。
引用
@article{arxiv.2105.00522,
title = {Augmenting Sequential Recommendation with Pseudo-Prior Items via Reversely Pre-training Transformer},
author = {Zhiwei Liu and Ziwei Fan and Yu Wang and Philip S. Yu},
journal= {arXiv preprint arXiv:2105.00522},
year = {2021}
}
备注
Accepted by SIGIR 2021