MEANTIME：用于序列推荐的多时间嵌入注意力机制混合模型
机器学习
2020-08-24 v2 信息检索
机器学习
摘要
近来，基于自注意力的模型在序列推荐任务中取得了最先进的性能。遵循语言处理的习惯，这些模型大多依赖简单的位置嵌入来利用用户历史的序列性质。然而，当前方法存在一些局限。首先，序列推荐不同于语言处理，其可用时间戳信息。先前的模型未能很好地利用它来提取额外的上下文信息。其次，使用简单的嵌入方案可能导致信息瓶颈，因为同一嵌入必须表示所有可能的上下文偏置。第三，由于先前的模型在每个注意力头中使用相同的位置嵌入，它们可能浪费地学习重叠的模式。为解决这些局限，我们提出 MEANTIME（MixturE of AtteNTIon mechanisms with Multi-temporal Embeddings，多时间嵌入注意力机制混合），其采用多种时间嵌入以从用户行为序列中捕获各种模式，以及一种充分利用此种多样性的注意力结构。在真实数据上的实验表明，我们提出的方法优于当前最先进的序列推荐方法，并且我们提供了广泛的消融研究来分析模型如何从多样的位置信息中获益。
引用
@article{arxiv.2008.08273,
title = {MEANTIME: Mixture of Attention Mechanisms with Multi-temporal Embeddings for Sequential Recommendation},
author = {Sung Min Cho and Eunhyeok Park and Sungjoo Yoo},
journal= {arXiv preprint arXiv:2008.08273},
year = {2020}
}
备注
Accepted at RecSys 2020