中文

RecipeGen:面向实际菜谱生成的分步对齐多模态基准

计算机视觉与模式识别 2025-06-12 v3

摘要

创建菜谱图像是食物计算中的关键挑战,具有烹饪教育和多模态菜谱助理等实际应用。然而,现有数据集缺乏菜谱目标、步骤指令与视觉内容之间的细粒度对齐。我们提出了 RecipeGen,首个大规模、真实世界菜谱基准,支持文本到图像 (T2I)、图像到视频 (I2V) 和文本到视频 (T2V) 生成。RecipeGen 包含 26,453 份菜谱、196,724 张图片和 4,491 个视频,涵盖多样化的食材、烹饪程序、烹饪风格和菜品类型。我们进一步提出了领域特定的评估指标,用于评估食材忠诚度和交互建模,基准测试代表性的 T2I、I2V 和 T2V 模型,并为未来菜谱生成模型提供了洞见。项目页面已可访问。

关键词

引用

@article{arxiv.2506.06733,
  title  = {RecipeGen: A Step-Aligned Multimodal Benchmark for Real-World Recipe Generation},
  author = {Ruoxuan Zhang and Jidong Gao and Bin Wen and Hongxia Xie and Chenming Zhang and Hong-Han Shuai and Wen-Huang Cheng},
  journal= {arXiv preprint arXiv:2506.06733},
  year   = {2025}
}

备注

This is an extended version of arXiv:2503.05228