优化基于编码器的 Transformer 以用于会话基于推荐系统
信息检索
2024-10-16 v1 人工智能
摘要
会话基于推荐是预测用户将与之交互的下一个项目的任务，通常没有历史用户数据。本文引入了顺序掩码建模，这是一种针对单会话推荐的编码器-only Transformer 架构的新方法。我们的方法通过窗口滑动结合数据增强，以及独特的 penultimate token 掩码策略，以更有效地捕获序列依赖性。通过增强 Transformer 处理会话数据的方式，顺序掩码建模显著提高了下一项目预测性能。我们在三个广泛使用的数据集上评估了该方法：Yoochoose 1/64、Diginetica 和 Tmall，将其与 state-of-the-art 单会话、跨会话和多关系方法进行比较。结果表明，我们的 Transformer-SMM 模型在使用相同信息量的模型中始终优于所有模型，甚至与获取更多用户历史记录的方法相抗衡。这一研究突显了编码器-only Transformer 在会话基于推荐中的潜力，为进一步的改进开辟了道路。
引用
@article{arxiv.2410.11150,
title = {Optimizing Encoder-Only Transformers for Session-Based Recommendation Systems},
author = {Anis Redjdal and Luis Pinto and Michel Desmarais},
journal= {arXiv preprint arXiv:2410.11150},
year = {2024}
}