CAMMSR: 面向多模态序列推荐的类别引导注意力混合专家模型

信息丰富环境中多媒体数据的爆发增强了个性化内容发现的挑战, 将推荐系统置于被动数据管理的 essential 角色。多模态序列推荐利用文本和图像等多样化物品信息, 在丰富物品表征和深化对用户兴趣的理解方面显示出巨大的潜力。然而, 大多数现有模型依赖启发式融合策略, 无法捕捉用户-模态相互作用的动态和情境依赖性。在现实场景中, 用户对模态的偏好不仅在个体之间变化, 也在同一用户在不同物品或类别之间变化。此外, 模态之间的协同效应-其中组合信号触发用户兴趣的方式, 超出单一模态无法实现-在很大程度上仍未被探索。为此, 我们提出CAMMSR, 一个用于多模态序列推荐的类别引导注意力混合专家模型(CAMMSR)。在其核心, CAMMSR引入一个类别引导注意力混合专家(CAMoE)模块, 该模块从多个角度学习专门的物品表征, 并显式地建模跨模态协同效应。该组件通过辅助类别预测任务引导, 实现模态权重的动态分配, 以实现多模态信号的自适应融合。此外, 我们设计了一种模态交换对比学习任务, 通过序列级增强来增强跨模态表征的对齐。广泛的实验在四个公开数据集上表明, CAMMSR consistently outperforms state-of-the-art baselines, 验证了其在实现自适应、协同和以用户为中心的多模态序列推荐方面的有效性。