AdaMCT：用于序列推荐的 CNN-Transformer 自适应混合模型
信息检索
2023-08-14 v3
摘要
序列推荐（SR）旨在从一系列交互中建模用户的动态偏好。SR 中用户建模的关键挑战在于用户偏好固有的可变性。一个有效的 SR 模型应捕捉用户表现出的长期与短期偏好，其中前者可对有影响的后者提供稳定兴趣的整体理解。为更有效地捕捉此类信息，我们将局部性归纳偏置融入 Transformer，将其全局注意力机制与局部卷积滤波器相融合，并通过层感知自适应混合单元按个性化基础自适应确定混合重要性，称为 AdaMCT。此外，由于用户可能重复浏览潜在购买项，在长/短期偏好建模中期望同时考虑多个相关物品。鉴于基于 softmax 的注意力可能促进单峰激活，我们提出将压缩激励注意力（带 sigmoid 激活）引入 SR 模型以同时捕捉多个相关物品（键）。在三个广泛使用的基准上的大量实验证实了所提方法的有效性与高效性。源代码见 https://github.com/juyongjiang/AdaMCT。
引用
@article{arxiv.2205.08776,
title = {AdaMCT: Adaptive Mixture of CNN-Transformer for Sequential Recommendation},
author = {Juyong Jiang and Peiyan Zhang and Yingtao Luo and Chaozhuo Li and Jae Boum Kim and Kai Zhang and Senzhang Wang and Xing Xie and Sunghun Kim},
journal= {arXiv preprint arXiv:2205.08776},
year = {2023}
}
备注
Accepted by CIKM 2023