基于对比学习的多模态序贯推荐预训练框架
信息检索
2024-07-23 v2 多媒体
摘要
当前多模态序贯推荐模型往往无法有效探索并捕捉用户与物品在不同模态下行为序列之间的关联，要么忽视序列表示间的关联，要么在表示中不充分捕捉多模态数据与序列数据间的联系。为解决此问题，我们在序贯推荐背景下探索多模态预训练，旨在增强多模态信息的融合与利用。我们提出一种新颖的序贯推荐多模态预训练（MP4SR）框架，其利用对比损失捕捉用户不同模态序列之间，以及用户与物品不同模态序列之间的关联。MP4SR 由三个关键组件构成：1) 多模态特征提取，2) 骨干网络 Multimodal Mixup Sequence Encoder (M2SE)，以及 3) 预训练任务。利用预训练编码器生成物品初始多模态特征后，M2SE 采用互补序列混合策略融合不同模态序列，并借助对比学习在序列到序列与序列到物品层面捕捉模态交互。在四个真实世界数据集上的大量实验表明，MP4SR 在正常与冷启动设置下均优于最先进方法。我们进一步凸显了在序贯推荐表示学习中引入多模态预训练的有效性，其可作为有效的正则化器并优化推荐任务的参数空间。
引用
@article{arxiv.2303.11879,
title = {Multimodal Pre-training Framework for Sequential Recommendation via Contrastive Learning},
author = {Lingzi Zhang and Xin Zhou and Zhiwei Zeng and Zhiqi Shen},
journal= {arXiv preprint arXiv:2303.11879},
year = {2024}
}
备注
22 pages