基于聚类与自监督学习的多模态食物推荐
信息检索
2025-02-28 v2
摘要
食物推荐系统是数字生活服务领域的关键组件，旨在帮助用户发现与其独特饮食偏好相契合的食谱和食品。通常情况下，多模态描述为每个食谱提供详尽的轮廓，从而确保推荐个性化且准确。我们的初步调查表明，预训练的多模态稠密表示在封装交互关系时，可能导致性能下降，这与ID特征的表现不及相同。这一观察表明，ID特征在建模交互式协同信号方面具有相对优势。因此，当前的前沿方法会将ID特征与多模态信息作为补充特征，忽略食谱之间潜在的语义关系。为此，我们提出了CLUSSL（Clustering and Self-supervised Learning for food recommendation），一种新的食物推荐框架。具体而言，CLUSSL为每个模态构建特定的图结构，包含离散/连续特征，从而将语义特征转化为结构化表示。此外，CLUSSL通过图卷积操作获取与不同模态相关的食谱表示。提出一种自监督学习目标，以促进来自不同单模态图中获得的食谱表示之间的独立性。对真实数据集进行的全面实验表明，CLUSSL在性能上 consistently 超过了最新的推荐基准。
引用
@article{arxiv.2406.18962,
title = {Multi-modal Food Recommendation using Clustering and Self-supervised Learning},
author = {Yixin Zhang and Xin Zhou and Qianwen Meng and Fanglin Zhu and Yonghui Xu and Zhiqi Shen and Lizhen Cui},
journal= {arXiv preprint arXiv:2406.18962},
year = {2025}
}
备注
Working paper