ConvFormer：重新审视Transformer用于序列用户建模
人工智能
2023-10-10 v2 信息检索
社会与信息网络
摘要
序列用户建模是个性化推荐系统中的关键任务，侧重于预测用户偏好的下一个物品，需要深入理解用户行为序列。尽管基于Transformer的模型在各个领域取得显著成功，其在理解用户行为方面的全部潜力仍未被发掘。本文重新审视类Transformer架构，旨在推进最先进性能。我们从重新审视基于Transformer方法的核心构建块入手，分析物品到物品机制在序列用户建模上下文中的有效性。在透彻的实验分析后，我们确定了设计高效序列用户模型的三个基本准则，希望其能作为实用指南启发并塑造未来设计。随后，我们引入ConvFormer，一种对Transformer架构简单但强大的修改，满足这些准则，取得了最先进结果。此外，我们提出一种加速技术以最小化处理极长序列的复杂度。在四个公开数据集上的实验展示了ConvFormer的优越性并证实了我们提出准则的有效性。
引用
@article{arxiv.2308.02925,
title = {ConvFormer: Revisiting Transformer for Sequential User Modeling},
author = {Hao Wang and Jianxun Lian and Mingqi Wu and Haoxuan Li and Jiajun Fan and Wanyue Xu and Chaozhuo Li and Xing Xie},
journal= {arXiv preprint arXiv:2308.02925},
year = {2023}
}