基于对比模态融合与潜在结构挖掘的多媒体推荐

近年来，多媒体推荐受到越来越多的关注，其旨在预测用户是否会与具有多模态内容的物品交互。先前的研究侧重于将多模态特征作为辅助信息来建模用户-物品交互。然而，该方案并非为多媒体推荐而精心设计。首先，仅通过高阶物品-用户-物品共现隐式地建模了协作式物品-物品关系。我们认为这些多模态内容底层的潜在语义物品-物品结构有益于学习更好的物品表示，并协助推荐模型全面发现候选物品。其次，先前的研究忽视了细粒度多模态融合。尽管能获取多种模态可能使我们捕获丰富信息，但我们认为先前工作通过线性组合或拼接进行的简单粗粒度融合不足以充分理解内容信息与物品关系。为此，我们提出一种基于潜在结构挖掘与对比模态融合的方法（简称 MICRO）。具体而言，我们设计了一种新颖的模态感知结构学习模块，为每个模态学习物品-物品关系。基于学习到的模态感知潜在物品关系，我们执行图卷积，将物品亲和度显式注入模态感知物品表示。然后，我们设计了一种新颖的对比方法来融合多模态特征。这些丰富的物品表示可插入现有协同过滤方法以做出更精准的推荐。在真实世界数据集上的大量实验证明了我们的方法相对于最先进基线的优越性。