它从来不算太晚进行修补: 多媒体推荐的分离学习
信息检索
2024-12-18 v2
摘要
多媒体推荐将各种模态（如图像、文本等）纳入用户或项目表征以提高推荐质量，自监督学习因其在对齐不同模态方面的卓越性能而将多媒体推荐推向性能平台。然而，越来越多的研究发现，对齐所有模态表征并非最佳选择，因为这会损害每个模态的独特属性。这些研究在几何空间中使用减法和正交约束来学习唯一部分。然而，我们的严格分析揭示了这种方法的缺陷，例如减法并不一定产生所需的模态唯一性，且正交约束在用户和项目高维表征空间中无效。为弥补以前的缺陷，我们提出了一种用于多媒体推荐的分离学习 (SEA)，主要包括模态唯一性和通用性学习的相互信息视角。具体地，我们首先使用 GNN 在不同模态中学习用户和项目的表征，并将每个模态的表征分为通用部分和唯一部分。我们采用对比 log 比上限来最小化同一模态中通用部分和唯一部分之间的相互信息，从而保持它们的表征距离，以学习模态唯一特征。然后，我们设计 Solosimloss 来最大化相互信息的下界，以对齐不同模态的通用部分，从而学习更高质量的模态通用特征。最后，在三个数据集上的大量实验表明，我们提出的框架有效且具有普适性。该代码已在 SEA 上提供，主要实验的完整训练记录亦已公开。
引用
@article{arxiv.2406.08270,
title = {It is Never Too Late to Mend: Separate Learning for Multimedia Recommendation},
author = {Zhuangzhuang He and Zihan Wang and Yonghui Yang and Haoyue Bai and Le Wu},
journal= {arXiv preprint arXiv:2406.08270},
year = {2024}
}