面向食物图像与烹饪食谱的程序表示学习
计算机视觉与模式识别
2022-03-31 v1
摘要
本文关注对诸如烹饪食谱之类的操作指导过程进行建模，以有意义且丰富的高层表示呈现。具体地，我们提出将烹饪食谱和食物图像表示为烹饪程序。程序提供了任务的结构化表示，以图的形式捕捉烹饪语义及动作的时序关系。这使得它们可被用户轻松操控并由智能体执行。为此，我们构建了一个模型，通过自监督学习食谱与食物图像之间的联合嵌入，并作为序列从该嵌入联合生成程序。为验证我们的想法，我们众包了烹饪食谱的程序，并表明：(a) 将图像-食谱嵌入投影为程序可带来更好的跨模态检索结果；(b) 从图像生成程序相比预测原始烹饪指令可带来更好的识别结果；(c) 我们可通过优化 GAN 的潜码来操控程序以生成食物图像。代码、数据与模型均已在线提供。
引用
@article{arxiv.2203.16071,
title = {Learning Program Representations for Food Images and Cooking Recipes},
author = {Dim P. Papadopoulos and Enrique Mora and Nadiia Chepurko and Kuan Wei Huang and Ferda Ofli and Antonio Torralba},
journal= {arXiv preprint arXiv:2203.16071},
year = {2022}
}
备注
CVPR 2022 oral