用于图像生成菜谱的结构感知生成网络
计算机视觉与模式识别
2020-09-03 v1
摘要
随着社交媒体的发展，分享美食变得非常流行。在许多现实应用中，人们迫切想知道某食物背后的菜谱。本文关注于自动生成烹饪说明。我们研究了一项基于仅食物图像与食材生成烹饪说明的开放研究任务，其类似于图像字幕任务。然而，与图像字幕数据集相比，目标菜谱为长段落且未带有结构信息标注。为应对上述局限，我们提出一种新颖的结构感知生成网络（SGN）框架来处理食物菜谱生成任务。我们的方法在系统框架中融合了若干新思路：（1）在训练前利用无监督学习方法获得句子级树结构标签；（2）利用从（1）学到的树结构标签的监督从图像生成目标菜谱的树；（3）将推断的树结构整合进菜谱生成过程。我们提出的模型能生成高质量且连贯的菜谱，并在基准Recipe1M数据集上取得最先进性能。
引用
@article{arxiv.2009.00944,
title = {Structure-Aware Generation Network for Recipe Generation from Images},
author = {Hao Wang and Guosheng Lin and Steven C. H. Hoi and Chunyan Miao},
journal= {arXiv preprint arXiv:2009.00944},
year = {2020}
}
备注
Published at ECCV 2020