Recipe2Vec:基于图神经网络的多模态食谱表征学习
机器学习
2022-05-26 v1 计算与语言
摘要
学习有效的食谱表征在食物研究中至关重要。与已发展的基于图像的食谱检索或结构化文本嵌入学习不同,多模态信息(即食谱图像、文本与关系数据)的联合效应较少受到关注。本文中,我们形式化了多模态食谱表征学习问题,将视觉、文本与关系信息整合进食谱嵌入中。具体地,我们首先提出Large-RG,一个含超五十万节点的新食谱图数据,成为迄今最大的食谱图。随后我们提出Recipe2Vec,一种基于图神经网络的新颖食谱嵌入模型以捕获多模态信息。此外,我们引入对抗攻击策略以确保稳定学习并提升性能。最后,我们设计了一个节点分类与对抗学习的联合目标函数以优化模型。大量实验表明,Recipe2Vec在两项经典食物研究任务(即菜系分类与地区预测)上优于state-of-the-art基线。数据集与代码见https://github.com/meettyj/Recipe2Vec。
引用
@article{arxiv.2205.12396,
title = {Recipe2Vec: Multi-modal Recipe Representation Learning with Graph Neural Networks},
author = {Yijun Tian and Chuxu Zhang and Zhichun Guo and Yihong Ma and Ronald Metoyer and Nitesh V. Chawla},
journal= {arXiv preprint arXiv:2205.12396},
year = {2022}
}
备注
Accepted by IJCAI 2022