eSASRec：以模块化方式增强基于 Transformer 的推荐
信息检索
2025-08-11 v1 机器学习
摘要
自 Transformer 模型（如 SASRec 和 BERT4Rec）提出以来，这些模型已成为顺序推荐中的常见基线，超越了之前的神经网络和非神经网络方法。随后多个研究表明，这些模型的有效性可以通过，例如略微更新 Transformer 层的结构、使用更好的训练目标和采用改进的损失函数来提高。然而，这些模块化改进的可加性尚未得到系统性基准测试——这正是本文要弥补的空白。通过我们的实验，我们识别出一个非常强大的模型，该模型采用 SASRec 的训练目标、LiGR Transformer 层和 Sampled Softmax Loss。我们将其称为 eSASRec（Enhanced SASRec）。虽然我们主要关注现实的、类似生产的评估，但在我们的初步研究中发现，常见的学术基准显示 eSASRec 在最新 SOTA 模型（如 ActionPiece）之上具有 23% 的更好效果。在我们的主要类似生产的基准测试中，eSASRec 在准确性-覆盖率权衡的帕累托前沿上居于不败局面（与最新的工业模型 HSTU 和 FuXi 同时位列其中）。由于与原始 SASRec 的修改相对简单且无需额外特征（如 HSTU 中的时间戳），我们认为 eSASRec 可以轻松集成到现有推荐管道中，可作为新出现的复杂算法的强大且非常简单的基线。为促进这一目标，我们提供了模型和基准测试的开源实现，仓库地址为 https://github.com/blondered/transformer_benchmark。
关键词
引用
@article{arxiv.2508.06450,
title = {eSASRec: Enhancing Transformer-based Recommendations in a Modular Fashion},
author = {Daria Tikhonovich and Nikita Zelinskiy and Aleksandr V. Petrov and Mayya Spirina and Andrei Semenov and Andrey V. Savchenko and Sergei Kuliev},
journal= {arXiv preprint arXiv:2508.06450},
year = {2025}
}
备注
Accepted at ACM RecSys 2025