CookingDiffusion: 基于 Stable Diffusion 的烹饪程序图像生成
计算机视觉与模式识别
2025-02-11 v2 图形学
机器学习
摘要
最近的文本到图像生成模型在创建多样且逼真的图像方面取得了巨大成功。这一成功也扩展到食品图像，利用各种条件输入，如烹饪风格、食材和食谱。然而，一个尚未探索的挑战是根据食谱中的烹饪步骤生成一系列程序图像。这可以增强烹饪体验，可能导致智能烹饪仿真系统。为填补这一空白，我们引入一种新任务，称为烹饪程序图像生成。该任务本身具有挑战性，因为它旨在创建与烹饪步骤一致且保持顺序一致性的照片级真实图像。为集中应对这些挑战，我们提出了 CookingDiffusion，一种利用 Stable Diffusion 和三个创新的记忆网络来建模程序提示的新方法。这些提示包括表示烹饪步骤的文本提示、对应烹饪图像的图像提示以及混合烹饪步骤和图像的多模态提示，确保烹饪程序图像的一致生成。为验证我们方法的有效性，我们预处理了 YouCookII 数据集，建立了新的基准。我们的实验结果表明，该模型在保持顺序烹饪步骤一致性方面，能够生成高质量的烹饪程序图像，按 FID 和我们提出的平均程序一致性指标均表现优异。此外，CookingDiffusion 还能操控食谱中的食材和烹饪方法。我们将公开代码、模型和数据集。
引用
@article{arxiv.2501.09042,
title = {CookingDiffusion: Cooking Procedural Image Generation with Stable Diffusion},
author = {Yuan Wang and Bin Zhu and Yanbin Hao and Chong-Wah Ngo and Yi Tan and Xiang Wang},
journal= {arXiv preprint arXiv:2501.09042},
year = {2025}
}