FuXi-$\alpha$：基于特征交互增强Transformer的推荐模型规模化研究
信息检索
2025-02-06 v1
摘要
受缩放定律和大语言模型的启发，大规模推荐模型的研究已引起广泛关注。近期进展表明，将序列推荐模型扩展为大规模推荐模型是一种有效策略。当前最先进的序列推荐模型主要利用自注意力机制进行项目间的显式特征交互，而隐式交互则通过前馈网络（FFN）处理。然而，这些模型通常未能充分整合时间和位置信息，要么将其添加到注意力权重中，要么将其与潜在表征混合，这限制了它们的表达能力。最近的一个模型HSTU进一步减少了对隐式特征交互的关注，从而限制了其性能。我们提出了一种名为FuXi-α的新模型来解决这些问题。该模型引入了一种自适应多通道自注意力机制，能够对时间、位置和语义特征进行清晰建模，并采用多阶段FFN来增强隐式特征交互。我们的离线实验表明，该模型性能优于现有模型，并且随着模型规模的增大，其性能持续提升。此外，我们在华为音乐应用中进行了在线A/B测试，结果显示用户平均播放歌曲数增加了4.76%，用户平均收听时长增加了5.10%。我们的代码已发布在https://github.com/USTC-StarTeam/FuXi-alpha。
引用
@article{arxiv.2502.03036,
title = {FuXi-$\alpha$: Scaling Recommendation Model with Feature Interaction Enhanced Transformer},
author = {Yufei Ye and Wei Guo and Jin Yao Chin and Hao Wang and Hong Zhu and Xi Lin and Yuyang Ye and Yong Liu and Ruiming Tang and Defu Lian and Enhong Chen},
journal= {arXiv preprint arXiv:2502.03036},
year = {2025}
}
备注
Accepted by WWW2025