一种解决多模态推荐系统中孤立问题的统一图转换器

随着在线多媒体服务，尤其是电子商务平台的快速发展，对能够有效编码每个物品相关多模态内容的个性化推荐系统提出了迫切需求。然而，我们认为现有的多模态推荐系统通常对特征提取和模态建模使用孤立的进程，这些孤立进程会损害推荐性能。首先，孤立的特征提取过程低估了多模态推荐中有效特征提取的重要性，可能纳入无关信息，这对物品表示不利。其次，孤立的模态建模过程由于对每个模态的独立处理，导致物品模态嵌入不连贯，从而导致用户/物品表示在有效用户偏好预测方面的融合次优。我们假设，使用统一模型处理上述两个孤立问题将实现一致的特征提取和协同融合联合多模态特征，从而增强多模态推荐系统的有效性。在本文中，我们提出了一种新模型，称为统一多模态图转换器(UGT)，首先利用多路转换器从原始数据中提取对齐的多模态特征用于top-k推荐。随后，我们在UGT模型中构建统一图神经网络，以联合融合用户/物品表示及其对应的多模态特征。使用UGT模型的图转换器架构，我们展示了UGT模型在常用多模态推荐损失函数下联合优化时能够获得显著的性能提升，尤其是在处理多模态特征时。