基于结构预测的分解生成网络用于菜谱生成
计算机视觉与模式识别
2022-02-17 v2
摘要
从食物图像和食材生成菜谱是一项具有挑战性的任务，需要跨模态信息的理解。与图像描述任务通常只有一句话的标题不同，烹饪指令包含多个句子且具有明显结构。为帮助模型捕捉菜谱结构并避免遗漏某些烹饪细节，我们提出一种新颖框架：带结构预测的分解生成网络(DGN)，以获得更具结构性与完整性的菜谱生成输出。具体而言，我们将每条烹饪指令拆分为若干阶段，并为每个阶段分配不同的子生成器。我们的方法包含两个新颖思路：(i) 通过全局结构预测组件学习菜谱结构；(ii) 在子生成器输出组件中基于预测结构生成菜谱阶段。在具有挑战性的大规模Recipe1M数据集上的大量实验验证了我们所提模型的有效性，其性能优于最先进结果。
引用
@article{arxiv.2007.13374,
title = {Decomposing Generation Networks with Structure Prediction for Recipe Generation},
author = {Hao Wang and Guosheng Lin and Steven C. H. Hoi and Chunyan Miao},
journal= {arXiv preprint arXiv:2007.13374},
year = {2022}
}
备注
Accepted at Pattern Recognition