面向序列推荐的在线蒸馏增强多模态 Transformer

融合多种信息类型的多模态推荐系统近年来受到广泛关注。然而，相较于基于传统协同过滤的多模态推荐系统，多模态序列推荐的研究仍处于起步阶段。不同于仅依赖物品标识符（ID）信息并侧重网络结构设计的传统序列推荐模型，多模态推荐模型需重视物品表示学习及异构数据源的融合。本文研究了物品表示学习对下游推荐任务的影响，并考察了不同阶段信息融合的差异。我们通过实证实验说明了设计适用于多样信息协同学习与融合框架的必要性。基于此，我们提出一种用于多模态序列推荐任务的新型模型无关框架——在线蒸馏增强多模态 Transformer（ODMT），以增强多源输入（ID、文本和图像）间的特征交互与互学习，同时避免训练过程中不同特征间的冲突，从而提升推荐精度。具体而言，我们在物品表示学习阶段首先引入 ID 感知多模态 Transformer 模块以促进不同特征间的信息交互；其次，在预测优化阶段采用在线蒸馏训练策略，使多源数据相互学习并提升预测鲁棒性。在流媒体推荐数据集及三个电商推荐数据集上的实验结果表明所提两模块的有效性，其性能较基线模型提升约 10%。