多模态不变学习用于基于多媒体的新物品推荐
信息检索
2024-05-28 v1 人工智能
摘要
基于多媒体的推荐通过学习用户的内容偏好来提供个性化物品建议。随着数字设备和应用程序的普及，大量新物品随时间快速产生。如何在推理时快速为新物品提供推荐具有挑战性。更糟糕的是，现实世界的物品表现出不同程度的模态缺失（例如，许多短视频上传时没有文本描述）。尽管已有许多工作致力于基于多媒体的推荐，但它们要么无法处理新的多媒体物品，要么在建模过程中假设模态完整性。在本文中，我们强调了解决新物品推荐中模态缺失问题的必要性。我们认为用户固有的内容偏好是稳定的，并且最好对任意模态缺失环境保持不变。因此，我们从不变学习的新视角来处理这个问题。然而，如何从有限的用户行为训练数据中构建环境以泛化到任意模态缺失是具有挑战性的。为了解决这个问题，我们提出了一种新颖的多模态不变学习推荐框架（简称MILK）。具体来说，MILK首先设计了一个跨模态对齐模块，以保持预训练多媒体物品特征的语义一致性。之后，MILK设计了带有循环混合的多模态异构环境来增强训练数据，以模拟任意模态缺失，用于不变用户偏好学习。在三个真实数据集上的大量实验验证了我们提出的框架的优越性。代码可在https://github.com/HaoyueBai98/MILK获取。
引用
@article{arxiv.2405.15783,
title = {Multimodality Invariant Learning for Multimedia-Based New Item Recommendation},
author = {Haoyue Bai and Le Wu and Min Hou and Miaomiao Cai and Zhuangzhuang He and Yuyang Zhou and Richang Hong and Meng Wang},
journal= {arXiv preprint arXiv:2405.15783},
year = {2024}
}