面向食谱的多模态烹饪工作流构建
计算与语言
2020-08-24 v1 多媒体
摘要
理解食物食谱需要预判烹饪动作的隐式因果效应，从而将食谱转换为描述其时间工作流的图。这是一项涉及常识推理的非平凡任务。然而，由于缺乏大规模标注数据集，现有工作依赖手工特征从食谱中提取工作流图。此外，它们未能利用构成食谱重要部分的烹饪图像。本文中，我们构建了MM-ReS，首个用于烹饪工作流构建的大规模数据集，包含9,850个带人工标注工作流图的食谱。烹饪步骤为多模态，兼具文本指令与烹饪图像。我们随后提出一种利用视觉与文本信息构建烹饪工作流的神经编码器-解码器模型，相较现有手工基线取得超过20%的性能提升。
引用
@article{arxiv.2008.09151,
title = {Multi-modal Cooking Workflow Construction for Food Recipes},
author = {Liangming Pan and Jingjing Chen and Jianlong Wu and Shaoteng Liu and Chong-Wah Ngo and Min-Yen Kan and Yu-Gang Jiang and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2008.09151},
year = {2020}
}
备注
This manuscript has been accepted at ACM MM 2020