面向顺序推荐任务的高效注意力机制：HydraRec

基于Transformer的模型正在被广泛应用于推荐系统等多个领域。预训练的Transformer模型如BERT在语言建模方面表现良好。凭借更强的序列建模能力，类似BERT4Rec、SASRec等仅编码器模型在顺序推荐问题上取得了成功。传统Transformer模型中点积注意力的计算复杂度随序列长度为二次增长。这在推荐系统中尤为突出，因为与语言模型不同，新商品会每天添加到目录中。用户购买历史是依赖于多种因素的动态序列。近期，各种线性注意力模型尝试通过将模型线性化于序列长度来解决此问题，即在词元维度上实现线性复杂度。Hydra注意力是一种用于视觉Transformer的线性复杂度模型，能够同时降低注意力计算对词元数量和模型嵌入维度的复杂度。基于Hydra注意力的思想，我们提出一种高效的基于Transformer的顺序推荐系统（HydraRec），显著改进了对长序列和大规模数据集进行注意力计算的理论复杂度，同时保持了时序上下文。我们在多个评估指标上对其他线性Transformer-based推荐模型和HydraRec进行了广泛实验评估。对于使用因果掩码进行的顺序推荐下一项预测任务，HydraRec在表现上优于其他线性注意力模型以及基于点积的注意力模型。对于双向模型而言，其性能与BERT4Rec相当，且在运行时间上有所改进。