RECipe: 多模态食谱知识图谱是否适配多用途推荐系统?

在过去二十年中,推荐系统(RSs)已使用机器学习(ML)解决方案向企业或在线平台的客户推荐物品,例如电影、书籍和餐馆。然而,与那些应用相比,食谱推荐尚未受到太多关注。我们引入 RECipe 作为一个以多模态知识图谱(MMKG)为骨干的多用途食谱推荐框架。RECipe 背后的动机是通过在自然语言查询或提供图像时向用户推荐食谱,超越(深度)神经协同过滤(NCF)。RECipe 由 3 个子系统组成:(1) 基于行为的推荐器,(2) 基于评论的推荐器,和 (3) 基于图像的推荐器。每个子系统依赖于图中实体和关系的嵌入表示。我们首先从微软 MPNet 的微调模型获得文本实体(如评论或食材)的(预训练)嵌入表示。我们用这些嵌入初始化实体的权重以训练我们的知识图谱嵌入(KGE)模型。对于视觉组件即食谱图像,我们开发了 KGE 引导的变分自编码器(KG-VAE)来学习图像及其隐表示的分布。一旦 KGE 和 KG-VAE 模型完全训练好,我们将它们用作多用途推荐框架。为基准测试,我们从 Kaggle 上的公共数据集创建了两个用于食谱推荐的知识图谱(KGs)。我们的实验表明 KGE 模型具有与神经解决方案相当的性能。我们还提出预训练 NLP 嵌入以解决重要应用,例如新用户(或冷启动问题)的零样本推断,以及关于食谱类别的条件推荐。我们最终展示了 RECipe 在多用途推荐设置中的应用。